Творческой декларацией Голи можно считать его собственный дом на Кронверкском проспекте, в котором он жил с семьей, будучи женат на дочери архитектора, академика Императорской Академии художеств И. С. Китнера Евгении Иеронимовне.

Асимметричная композиция этого здания отличается, изысканной проработкой деталей, среди которых выделяется эффектный портал со скульптурой. В этом архитектурном произведении достигнут сплав приемов раннего модерна и стилизованных мотивов барокко и рококо.

Известно, что в 1882 – 1888 (1890) годах Густав Голи проходил курс обучения в Академии художеств, которую окончил со званием художника-архитектора.

Работал в Обществе религиозно-нравственного просвещения в Петербурге, для которого в 1895 – 1896 и в 1899 – 1902 годах совместно с Г.Д. Гримом выполнил проекты домов на Обводном канале и на Стремянной улице.

В 1900 и в 1901 также в соавторстве с Германом Давидовичем Гримом выполнил проекты церквей Св. Сергия Радонежского на Новосивковской улице и церкви Усекновения Главы Иоанна Предтечи на Выборгской стороне.

Одной из наиболее известных построек, в строительстве которых принимал участие Г.Г. Голи, является знаменитая церковь Воскресения Христова на набережной Обводного канала, рядом с бывшим Варшавским вокзалом. Николай II утвердил проект трехпредельного храма Г.Д. Грима, «пожелав успеха постройке». Каменный храм был заложен 7 августа (25 июля по старому стилю) 1904 года в ознаменование десятилетия бракосочетания императора Николая Александровича и императрицы Александры Федоровны.

Густав Густавович Фон Голи построил в Петербурге около 40 домов, работал в Царском Селе.

Наиболее известными гражданскими постройками архитектора являются чудесный дом с витражами на Гатчинской улице и великолепный дом с башней Рапунцель на Большой Зелениной. Доходный дом Альберта Юльевича Кейбеля — основоположника производства серебряных наградных знаков и почётного гражданина Санкт-Петербурга, был возведён на Петроградской стороне в 1899-1901 годах. Претворяя в жизнь идеи Кейбеля, архитектору удалось этим уникальным проектом покорить время.