В детстве занимался в художественной студии, где познакомился с К. С. Петровым-Водкины. Учился в Академии художеств на факультете живописи.

В годы Великой Отечественной войны Мыльников вступил в ополчение и участвовал в обороне Ленинграда. В 1942 году по состоянию здоровья был эвакуирован в Самарканд.

Произведения художника находятся в крупнейших музеях России, музеях и частных собраниях Германии, Китая, Испании, Японии. Тайваня, США. Большая коллекция работ находится в Шанхайском музее живописи имени А.А. Мыльникова.

Андрей Андреевич - один из ключевых представителей русской реалистической школы второй половины ХХ века.

Как педагог Мыльников внес огромный вклад в развитие и совершенствование художественного образования и подготовил более 500 учеников.

В 2013 году на фасаде дома № 26-28 по Каменноостровскому проспекту, где художник жил и работал в 1951-1967 годах, была установлена мемориальная доска. В ноябре 2016 года в сквере рядом с домом на Мичуринской улице, где жил художник, был установлен памятник.