Родился в городе Касимове Рязанской области. Служил в Красной Армии с 1919 года. В 1920 году окончил Петроградские командные курсы. В годы Гражданской войны командовал взводом в 15-й Инзенской Сивашско-Штеттинской стрелковой дивизии Южного фронта, участвовал в форсировании Сиваша, освобождении Северной Таврии и Крыма, Западной Украины и Львова. В 1925 году окончил военно-педагогическую школу. Служил на Курсах усовершенствования командного состава в Киеве, готовил офицерские кадры. В 1935 году вернулся в ту же дивизию, где в должности начальника полковой школы обучал солдат военному мастерству. Участник освободительного похода в Бессарабию в 1940 году. Участник Великой Отечественной войны с 22 июня 1941 года. Был командиром мотострелкового батальона, начальником штаба и командиром стрелкового полка, командиром стрелковой дивизии. Воевал на Южном, Брянском, Центральном,1-м и 2-м Белорусских фронтах. Участвовал в оборонительных боях на реках Прут и Днестр в Молдавии, в боях в Донбассе за города Константиновка, Артемовск в 1941 году; в Ворошилов- градской оборонительной операции в 1942 году; в Воронежско-Касторненской операции, в боях на Курской дуге, в освобождении белорусского Полесья в 1943 году; в Белорусской операции, в том числе в освобождении городов Осиповичи, Барановичи, Беловеж, Браньск, Треблинка, в 1944 году; в Млавско-Эльбингской операции, в том числе в освобождении городов Цеханув, Грауденц, Данциг, в штурме города Штеттин, в боях за выход к Балтийскому морю в районе Ростока в 1945 году.

Указом Президиума Верховного Совета СССР от 24 марта 1945 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистскими захватчиками и проявленные при этом мужество и героизм полковнику А. П. Варюхину присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 5489). Участник Парада Победы на Красной площади в Москве, он шел в сводном полку 2-го Белорусского фронта, нес знамя 15-й стрелковой дивизии.

С 1946 года полковника. Варюхин в запасе. Работал начальником цеха на фабрике «Красное знамя». С 1972 по 1978 год работал в ОВД Ждановского райисполкома Ленинграда.

Награжден двумя орденами Ленина, двумя орденами Красного Знамени, орденами Суворова II и III степеней, Отечественной войны I степени, 14 медалями, польским орденом «Крест Грюнвальда».

Герои Петроградской стороны : краткие биографии Героев Советского Союза, Героев Социалистического Труда и почетных граждан Санкт-Петербурга, чья жизнь была связана с Петроградской стороной / составители: В. И. Щербаков, Г. М. Атаманова, И. В. Вчерашняя ; редактор: О. Капполь. - Санкт-Петербург : Златоуст, 2010.