Борис Рыжухин (настоящая фамилия – Лепилин) родился на станции Батраки Самарской губернии, затем переехал с родителями в посёлок Иващенково Самарской области. Отец будущего актера работал столяром на заводе, мать была домашней хозяйкой.

По окончании школы-семилетки Борис переехал из Иващенково в Сызрань, где закончил два класса школы, а затем поступил в школу ФЗО при Сызранском железнодорожном депо. Получив профессию токаря, в 1934 году был принят туда на работу.

В надежде получить высшее образование, в 1935 году Борис уехал в Ленинград. В театральный институт он смог поступить только с третьей попытки. До поступления работал на заводе «Красная Бавария» и заводе имени С. Орджоникидзе. В 1937 году Рыжухин стал студентом актёрского факультета Ленинградского государственного театрального института в классе Бориса Михайловича Сушкевича. Рыжухин окончил институт перед самой войной в 1941 году. Затем он был мобилизован на фронт, прошёл всю войну в качестве солдата-артиста армейского ансамбля.

После демобилизации в 1945 году Борис Сергеевич был принят в труппу Ленинградского Большого драматического театра, в котором прослужил 44 года. На его сцене в полной мере проявился актерский талант Рыжухина. Актеру были подвластны и сложные драматические образы, и характерно-комедийные роли. Особенно блистательно он проявил себя в комедии, наделяя образы героев неподражаемым юмором с элементами эксцентрики. Среди сыгранных им ролей: Воробьёв («Беспокойная старость»), Кисель («Много шума из ничего»), Савоська («Закон зимовки»), Шишкин («Мещане»), Бек («Свадьба Кречинского»), Мачек («Под каштанами Праги»), Ягодин («Враги»), Пикалов («Любовь Яровая»), Еремеев («Разлом»), локтор Ломбарди («Слуга двух господ»), Бобыль («Снегурочка»), Фердинанд («Флаг адмирала»), Пустобайка («Дачники»), Лаптев («Егор Булычов и другие»), Марин Мирою («Безымянная звезда»), Птицын («Идиот»), Микич Котрянц («Ханума»), президент суда («Пиквикский клуб») и другие.

В кино Борис Рыжухин снимался с 1953 года. В отличие от театра, в кино ему не довелось сыграть больших ролей. Однако он был блистательным мастером эпизода – даже самая крошечная роль в его исполнении была яркой и запоминающейся. В числе лучших киноработ Рыжухина: Рыбин («Дорогой мой человек»), Матвей Кожин («Ссора в Лукашах»), Одинцов («И снова утро»), Сизов («Всё остаётся людям»), комендант («Зайчик»), Январь («Двенадцать месяцев»), Милвертон («Приключения Шерлока Холмса и доктора Ватсона. Король шантажа»).

В 1989 году из-за болезни Борис Рыжухин оставил актерскую профессию.

Борис Рыжухин жил на Петроградской стороне – в доме по адресу: улица Куйбышева 1/5. Актер скончался в Санкт-Петербурге. Похоронен на Волковском православном кладбище.