Иоффе Абрам родился 29 октября 1880 года в городе Ромны Полтавской губернии в купеческой семье. Среднее образование получил в реальном училище города Ромны. В 1902 году окончил Санкт-Петербургский технологический институт. Через три года получил диплом Мюнхенского университета в Германии, где работал под руководством Вильгельма Рентгена и получил степень доктора философии.

По возвращении в Санкт-Петербург в 1906 году А. Ф. Иоффе работал в Политехническом институте, где позднее организовал физико-механический факультет для подготовки инженеров-физиков. В 1911 году молодой ученый определил заряд электрона, использовав ту же идею, что и Роберт Милликен: в электрическом и гравитационном полях уравновешивались заряженные частицы металла, Милликен в своем опыте использовал капельки масла.

Через два года Иоффе защитил магистерскую работу, а в 1915 году докторскую диссертации по физике. Через пять лет стал действительным членом Российской академии наук. В 1918 году Абрам Федорович создал и возглавил физико-технический отдел Государственного рентгенологического и радиологического института, являясь также Президентом этого института.

В 1921 году Иоффе стал директором Физико-технического института. До 1923 года выступал председателем Научно-технического комитета петроградской промышленности. С 1924 по 1930 год занимал пост председателя Всероссийской ассоциации физиков. Через два года стал директором Агрофизического института.

Абрам Иоффе являлся одним из инициаторов создания Дома ученых в Ленинграде. В начале Отечественной войны он был назначен председателем Комиссии по военной технике, а в 1942 году параллельно выступал председателем военной и военно-инженерной комиссии при петербургском городском комитете партии.

С середины 1930-х годов Абрам Иоффе отстаивал необходимость интенсивных исследований ядерных реакций. В физико-техническом институте для этой цели создал лабораторию, во главе которой поставил Игорь Курчатова. В сентябре 1942 года на базе этой лаборатории, была создана Лаборатория № 2 Академии Наук СССР, что дало официальный старт отечественной атомной программе.

В 1944 году Иоффе принял участие в судьбе Физического факультета Московского государственного университета. От его имени Вячеславу Молотову написано письмо четырех академиков, которое инициировало разрешение противостояния между так называемой «академической» и «университетской» физикой.

В 1850 году Иоффе был снят с поста директора и выведен из состава Ученого совета института. В 1952 году он возглавил лабораторию полупроводников Академии Наук СССР. В 1954 году на основе лаборатории был организован Институт полупроводников АН СССР. Абрам Иоффе написал ряд работ по экспериментальному обоснованию теории света, физике твердого тела, диэлектрикам и полупроводникам. Он являлся редактором многих научных журналов, автором ряда монографий, учебников и популярных книг, в том числе «Основные представления современной физики», «Физика полупроводников».

Крупнейшей заслугой Абрама Федоровича является основание уникальной физической школы, которая позволила вывести отечественную физику на мировой уровень. Под руководством Иоффе начинали свою научную деятельность будущие Нобелевские лауреаты Петр Капица, Николай Семенов, Лев Ландау, Игорь Тамм. С ним работали крупнейшие ученые: Анатолий Александров, Абрам Алиханов, Лев Арцимович, Яков Дорфман, Яков Зельдович, Исаак Кикоин, Игорь Курчатов.

Абрам Федорович Иоффе скончался 14 октября 1960 года в Ленинграде, в своем кабинете. Похоронен на Литераторских мостках Волковского кладбища.