Эрнест Францевич Виррих родился 20 мая 1860 года в Одессе. С детства он получил хорошее домашнее образование и в 1878 году поступил в Императорскую Академию художеств. Пять лет он изучал живопись и был отмечен серебряными медалями за этюды.

К 1882 году Виррих уже преподавал рисование и подрабатывал частными уроками. Одним из его учеников был Иван Чарушин. В 1884 году Эрнест перешёл на архитектурное отделение.

В 1886—1887 годах — помощник архитектора Василия Шауба.

В 1888—1894 годах — старший техник и помощник Павла Сюзора (выполнял чертежи и наблюдал за строительством зданий, возводимых по его проектам).

В 1894—1896 годах — архитектор Строительного управления по постройке зданий для Всероссийской выставки в Нижнем Новгороде. Он руководил строительством спроектированных Александром Померанцевым павильонов Императорского, Художественного и Средней Азии.

Первым самостоятельным проектом Вирриха стал Успенский собор в Омске. Заложенный в 1891 году, собор был достроен и освящён в 1898 году. Архитектор был очарован обликом храма Спаса на Крови и русской церковной архитектурой XVII века.

В 1898 году Эрнест Францевич начал проектирование Петербургского Политехнического института — первого из трёх крупных комплексов, которые он построил.

В 1907 году Виррих и его коллега И. В. Падлевский заняли четвёртое место на международном конкурсе проектов торгового дома Гвардейского экономического общества. Однако уже в июле того же года Эрнест Францевич возглавил строительство, используя материалы конкурса для создания нового проекта. В работе над зданием участвовали Николай Васильев, Борис Боткин и Степан Кричинский. Первая очередь торгового комплекса была построена в 1908–1909 годах, а позже здесь располагался Дом ленинградской торговли.

27 октября 1908 года Эрнесту Вирриху присвоено звание академика архитектуры.

Последним значительным проектом стал комплекс Бассейного товарищества. Масштабное здание в стиле модерн заняло целый квартал и включало 13 корпусов. К проекту привлекли Алексея Бубыря, Алексея Зазерского и Николая Васильева, которые изменили оформление фасадов. В домах установили современные инженерные системы: вентиляцию, центральное горячее водоснабжение, отопление и пылесосную станцию.

В 1920 году Виррих переехал в США. Не сумев реализовать себя как архитектор, он стал успешным художником-экспертом в шелковой индустрии. Последнее упоминание о нём относится к 1949 году, когда Ф. Ф. Постельс навестил его в доме престарелых. Точная дата его смерти неизвестна.