Эрнст (Эрнест) Карлович фон Липгарт родился в 1847 году в Дерпте, обучался живописи в Венеции, работал в Париже, где создал галерею портретов Э. Золя, Г. Флобера, Э. Гонкура, С. Бернар, Р. Вагнера. Широко известен портрет И. С. Тургенева.

В 1886 году переехал в Петербург и остался здесь навсегда. В принадлежавшем ему доме (Каменноостровский, 16, построен арх.В. Шаубом) находились и его квартира, и мастерская (ее огромные окна хорошо заметны на верхнем этаже здания). Картины Липгарта выставлялись в Академии художеств и Обществе поощрения художников. С 1886 по 1896 год он преподавал живопись в Рисовальной школе Общества поощрения художников.

Липгарт был одним из самых авторитетных экспертов в определении и оценке картин. В частности, им была проведена атрибуция картин «Петр и Павел» Эль Греко и «Мадонна Бенуа» Леонардо да Винчи. Является автором статей по живописи из собрания Эрмитажа. Занимался классификацией и определением картин во дворцах пригородов Петербурга.

В Петербурге Липгарт писал многочисленные портреты, в том числе и членов императорской семьи, в частности, создал целую галерею портретов императора Николая II. Оформлял росписями ряд петербургских дворцов, церквей и театров.

В 1906 году Липгарт получил приглашение директора Эрмитажа И. А. Всеволожского поступить на службу в Картинную галерею, которую он возглавлял с 1909 по 1929 год.

В 1921 году Липгарт был выселен из собственного доходного дома на Каменноостровском проспекте, в конце этого же года за укрывательство белого офицера в Омске была расстреляна его дочь Мария. Тем не менее, он не остался за границей, куда выезжал вместе с женой в 1923 году для продолжения работы над каталогом итальянской живописи. С исключительной преданностью и любовью относясь к Эрмитажу, он продолжал трудиться над каталогом, публикуя одновременно ряд исследований об отдельных памятниках.