Николай Яковлевич родился в Москве, рано потерял мать. По служебной необходимости отца семье пришлось постоянно менять место жительства: Владивосток, Умань, Благовещенск. Николай попытался пойти по профессиональным стопам отца и поступил в петербургский университет, но к третьему году обучения понял, что юриспруденция — не его удел, и перевелся на историко-филологический факультет.

В 1913 году вышла первая книга Агнивцева «Студенческие песни. Сатира и юмор». Хулиганистые вирши о нравах студенческого бытия пришлись читателям по вкусу и буквально сразу были переизданы. Стихотворение «Баллада о короле», или «Рассеянный король» приглянулось самому Александру Вертинскому. Так стихи Агнивцева песнями вошли в репертуар театров-кабаре.

В 1917 году вместе с режиссёром К. А. Марджановым и актёром Ф. Н. Курихиным создал в Петрограде театр-кабаре «Би-ба-бо», впоследствии «Кривой Джимми». В смутном 1918 году театр-кабаре, все тексты для которого писал Агнивцев, выехал на гастроли в Киев (бежал от последствий революции). Оттуда коллектив отправился гастролировать в Харьков, затем в Ростов (по направлению отступления Добровольческой армии), а дальше — в Грузию. В 1921 году в Тифлисе вышла книга Агнивцева «Санкт-Петербург». Тогда же поэт уехал за границу, где остался верен избранному жанру кабаре. В столице Германии вышли и его сборники «Мои песенки», затем «Пьесы». Там же состоялось переиздание сборника поэтических произведений о нашем городе под названием «Блистательный Санкт-Петербург». Оно было посвящено актрисе Александре Перегонец, входившей в труппу «Кривого Джимми».

Вернувшись из эмиграции, в советской Москве Агнивцев стал не только прекрасным детским поэтом, сумевшим «перевести на детский язык» и популяризировать идеи индустриализации и социализма, но и ярким сатириком, громившим со страниц популярного журнала «Крокодил» бюрократов и тугодумов. Еще он много писал в «легком жанре» — эстрадные и цирковые куплеты. В 1926 году была напечатана его книга «От пудры до грузовика», вобравшая в себя стихи за последние десять лет.

Умер Николай Яковлевич очень рано — в 44 года. До сих пор самыми известными строками поэта остаются те, что он посвятил городу на Неве: "Санкт-Петербург — гранитный город, / Взнесённый словом над Невой, / Где небосвод давно распорот Адмиралтейскою иглой! / Как явь, вплелись в твои туманы / Виденья двухсотлетних снов, / О, самый призрачный и странный / Из всех российских городов! "