Яков Модестович Гаккель родился 12 мая 1874 года в Иркутске. Его отец Модест Васильевич был талантливым военным инженером, участвовавшим в строительстве телеграфной линии от Владивостока до Иркутска.

После окончания школы Яков Гаккель уехал в Санкт-Петербург, где поступил в Электротехнический институт. На 4 курсе юноша связался с марксистами и попал под арест, просидев в заключении почти пять месяцев. Однако руководство института не стало отчислять студента-крамольника, а лишь перевело в вольные слушатели. Преподаватели института смогли убедить коменданта тюрьмы о необходимости сохранить арестанту Гаккелю доступ к технической литературе, и в течение полугода институтский курьер еженедельно привозил ему на Шпалерную улицу книги. В мае 1897 Яков Модестович вышел из тюрьмы и спустя некоторое время с блеском защитил дипломный проект.

Однако вскоре после защиты он все-таки был сослан на пять лет в Сибирь. В этот период, молодой человек принимал участие в достройке гидроэлектростанции и прокладке от нее до приисков первой в России высоковольтной линии электропередачи.

В Сибири Гаккель проработал до 1903 года, а затем вместе с женой Ольгой Глебовной, дочерью писателя Глеба Успенского, с которой познакомился в ссылке, вернулся в Петербург.

Здесь Яков Модестович устроился на работу инженером в техническую контору общества «Вестингауз», где вместе с другим известным российским инженером-энергетиком Генрихом Графтио занимался проектированием, постройкой и эксплуатацией петербургского трамвая. Параллельно, Гаккель преподавал курс электрической тяги в Электротехническом институте, где позднее, стал профессором.

В конце 1900-х годов Яков Модестович увлекся самолетостроением. В 1909 году он приступил к созданию первого самолета по собственному проекту — биплана “Гаккель-1”, а также стал одним из инициаторов создания «Первого российского товарищества воздухоплавания».

В течении пятнадцати лет Гаккель спроектировал около полутора десятков самолетов, десять из которых построены, а шесть смогли подняться в воздух. Его аэропланы различной конструкции принимали участие в выставках, устанавливали рекорды, однако не строились промышленными сериями. В 1912 году из-за отсутствия заказов конструктор вынужден отказаться от активной деятельности в области авиации.

В 1918 году Гаккель возглавил Управление Киевского трамвая. Через три года завершил разработку чертежа тепловоза с электропередачей. В. И. Ленин лично заинтересовался трудами изобретателя и выделил ему средства из бюджета республики. Во главе тепловозного бюро Теплотехнического института Гаккель начал строить свой тепловоз, ставший уникальным творением советских рабочих и инженеров. Первый в мире мощный магистральный тепловоз с электрической передачей Щэл, появился на рельсовых путях Балтийского завода 5 августа 1924 года. Уже 6 ноября 1924 года передан для дальнейшего испытания железнодорожникам Петербургского узла. На Всесоюзном конкурсе тепловозов 1927 года первое и четвертое места среди более чем полусотни проектов заняли работы именно Гаккеля.

С 1932 по 1936 год на Калужском заводе Народного комиссариата путей сообщения Союза Советских Социалистических Республик по чертежам Гаккеля изготовлен первый отечественный двухтактный тепловозный дизель мощностью 300 лошадиных сил. Кроме того, Яков Модестович разработал паровой трактор с уникальной клапанной паровой установкой, нашедшей впоследствии свое применение в конструкции речных катеров.

В 1936-1945 годах изобретатель работал деканом мехфака Института инженеров железнодорожного транспорта в Ленинграде (ныне ПГУПС) и одновременно профессором кафедры «Подвижные составы». За это время он написал множество научных работ (им был получен тридцать один патент на изобретения), а в 1940 ему за плодотворную инженерную деятельность присвоили звание Заслуженного деятеля науки и техники. В этом же году Яков Модестович разработал первый газогенераторный тепловоз, а в самом начале войны спроектировал передвижные энергопоезда для фронта.

В годы Великой Отечественной войны ученый категорически отказался от эвакуации и пережил в городе всю блокаду.

Яков Модестович Гаккель умер 12 декабря 1945 года в Санкт-Петербурге. Похоронен великий конструктор на Литераторских мостках Волковского кладбища.