Алексей Герман родился 20 июля 1938 года в Ленинграде, в семье известного советского писателя Юрия Германа, автора романов «Наши знакомые», «Лапшин», «Один год», «Дело, которому ты служишь», «Дорогой мой человек», «Я отвечаю за все», и Татьяны Александровны Риттенберг.

В 1960 году Алексей Герман закончил режиссерский факультет Ленинградского государственного института театра, музыки и кинематографии им. Н. Черкасова. Получив специализацию «театральный режиссер», в течение некоторого времени А. Герман работал в Академическом Большом драматическом театре в качестве ассистента Г. Товстоногова.

С 1964 года А. Герман является кинорежиссером-постановщиком киностудии «Ленфильм». В 1968 году он выпустил свой первый фильм «Седьмой спутник». Большинство из своих 6-ти фильмов Герман создал по произведениям отца, он говорит, что, хотя в его картинах нет прототипов близких, все же многие его персонажи автопсихологичны. Первым подобным фильмом стала картина «Проверка на дорогах», снятая в 1970 году и пролежавшая «на полке» до 1985 года, но, несмотря на поздний приход к зрителю, картина сыграла вою роль в общественно-политической жизни страны, а Алексей Герман за нее был удостоен Государственной премии.

Первая работа, которую увидели зрители – это фильм «Двадцать дней без войны», поставленный по повести К. Симонова и законченный в 1976 году. В 80-е Алексей Герман в качестве актёра поучаствовал в кинолентах: «Сергей Иванович уходит на пенсию», «Рафферти», «Личная жизнь директора», «Канувшее время».

После восьмилетнего перерыва в 1984 году вышла картина Германа - «Мой друг Иван Лапшин». Фильм завоевал премию «Бронзовый леопард» и FIPRESCI в Локарно, а также государственную премию им. братьев Васильевых.

Отличительная черта режиссера Германа - предпочтение снимать черно-белые картины, а в фильме «Мой друг Иван Лапшин», снятом на цветной пленке, яркий цвет погашен техническими средствами и работой оператора. Режиссер полагает, что в цветном изображении не удается создать выразительные портретные характеристики.

Следующая картина Алексея Германа вышла в 1998 году и стала последним прижизненным фильмом режиссёра. «Хрусталев, машину!» получил три основные национальные премии российских кинокритиков – за лучший фильм, режиссуру и работу художников. В 2000 году картина удостоилось шести премий «Ника». Ощущая необходимость взгляда в будущее, Алексей Герман обратился к фантастике, начав снимать картину по мотивам произведения братьев А. и Б. Стругацких «Трудно быть богом» под названием «Что сказал табачник с Табачной улицы. История арканарской резни». Фильм-долгострой занимал всё рабочее время режиссёра с 1999 года до конца его жизни. Он так и не вышел при жизни Германа, а окончательным монтажом занимался его сын – Алексей Герман младший. Фильм вышел в 2013 году под названием «Трудно быть богом».

В 1998 году Алексей Герман старший основал собственную киностудию, которая помогла снять дебютные фильмы многим молодым режиссёрам на старте карьеры.

Герман пробует себя и в педагогической деятельности, ведет авторский курс на Высших курсах сценаристов и режиссеров. В 1990 году он организовал Студию первого и экспериментального фильма «Санкт-Петербург» (СПиЭФ) и получил приз «Золотой овен» в номинации «человек кинематографического года» «за создание уникальной студии, интуицию и настойчивость»..