Родился в Петербурге. Рос в среде близкой к искусству: мать будущего архитектора была дочерью академика живописи И. А. Гоха, родственные отношения связывали семью Оль с семьей профессора батальной живописи Академии художеств А. И. Шарлеманя.

После окончания Реального училища учился в Институте гражданских инженеров. Во время учебы стажировался в мастерских известных архитекторов А. Линдгрена и Э. Сааринена в Гельсингфорсе, у Ф. И. Лидваля.

Первая самостоятельная работа - деревянный загородный дом писателя Леонида Андреева на Карельском перешейке, в Райволе (не сохранился).

После окончания Института и вплоть до мобилизации в действующую армию в 1916 году А. А. Оль много и успешно работает. В течение пяти-шести лет по его проектам строятся: многоквартирный дом на Аптекарском проспекте в Петербурге, особняки В. А. Плансона на Каменном Острове и Т. В. Белозерского на Малой Дворянской улице (ныне улица Куйбышева), особняк Кирхнера на берегу реки Плюссы, дача в Левашове, Торговый дом Липина в Мучном переулке в Петербурге.

А. А. Оль активно участвует в конкурсах на проектирование общественных зданий. Его проекты здания Музея русского Севера им. М. В. Ломоносова в Архангельске и здания Городского общества взаимного кредита в Оренбурге удостаиваются первой премии.

После демобилизации в 1920 году из рядов Красной Армии А. А. Оль возвращается в Петроград и сразу же включается в архитектурно-строительную жизнь города. В течение первых семи лет по его проектам были построены: здание 5-й ГЭС, 4-я и 5-я подстанции Волховской ГЭС, пассажирская пристань Доброфлота на Неве, пакгауз и здание холодильника в ленинградском Торговом порту, клуб моряков в порту.

В 1934-41 годах Оль руководил мастерской № 4 Ленпроекта. Был разработан проект планировки и застройки первых трех кварталов в районе Автова. Авторскими работами мастера являются проект планировки Автова (вместе с С. Е. Бровцевым) и шесть жилых домов. В этот наиболее плодотворный период по проектам А. А. Оля в Ленинграде построен ряд жилых домов: в Щемиловке, на Суворовском проспекте, на Малой Охте, комплекс трех жилых домов на Московском проспекте, школы на улице Салтыкова-Щедрина и на 17-й линии Васильевского острова и др. Для южных курортов Оль разработал проекты санаториев: «Пикет» в Кисловодске (построен, 1937—1950), для Пятигорска и Старого Крыма.

В первые месяцы Великой отечественной войны работал на маскировке особо важных объектов, в частности, Московского вокзала. После войны принимал участие в восстановлении Петродворца.

Наряду с активной проектной и строительной деятельностью А. А. Оль вел педагогическую и научную работу.