Родился в семье старообрядца, крупного лесопромышленника и мецената. С юности участвовал в семейном деле, вел учет лесных материалов и денежную переписку предприятия.

Громов был крупнейшим в Санкт-Петербургской епархии благотворителем: на его деньги перестраивали Смольный собор, содержали больницы и сиротские дома. Громов финансировал постройку и ремонт церквей, Общество защиты животных и Российское императорское общество садоводов.

Страстью Громова были садоводство и музыка. Он был одним из 12 основателей Российского императорского общества садоводства. Директор Ботанического сада Э. Регель назвал в честь Василия Федуловича вновь открытое растение Gromovia pulchella.

В 1848 году Громов приобрёл Лопухинский сад в Санкт-Петербурге и занялся его перепланировкой и благоустройством. Именно с этим периодом (1848—1869) связан наивысший расцвет сада, являющегося ныне памятником культуры регионального значения.

Знаменитый маринист Боголюбов, приятель Василия Федуловича, вспоминал: «Сад содержался роскошно. Дом стоял, что дворец загородный. Били фонтаны, была пароходная пристань и легкий паровой катер для прогулок, а по другую часть въезда стояла превосходная громадная оранжерея, где иногда зимой давались феерические праздники под громадными пальмами и другими редкими растениями. Он любил цветы, и дом его круглый год имел роскошное украшение. Любил он и лошадей, конюшня его была первоклассная. Музыка была ему тоже сродни по душе. Он иногда пел для себя, как умел, а для гостей давал концерты, приглашая всех знаменитостей петербургского музыкального мира. Стол держал открытый постоянно, как на даче, так и в городе, угощая всегда хорошим вином и тонкой кухней. А также любил он и картины, художество и художников».