Родился в Белгородской области. После окончания техникума семеноводства работал техником-нормировщиком в совхозе. В 1939 году окончил Военно-морское училище береговой обороны в Севастополе. В 1943 году учился на отделении штабных командиров Высших специальных классов командного состава ВМФ. В том же году Хворостянов — начальник штаба Уссурийского отдельного дивизиона речных кораблей АВФ.

Участник советско-японской войны. Лично руководил серией десантных и набеговых операций на озере Ханка.

В 1945 году за мужество и героизм капитан-лейтенанту Хворостянову было присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».

После войны И. А. Хворостянов продолжал службу в ВМФ СССР.

С июня 1974 года вице-адмирал И. А. Хворостянов в запасе. Жил в Ленинграде, в Доме командного состава ВМФ на Большой Монетной, 30.