Родился 26 февраля 1908 года в Павлограде, Екатеринославской губернии (сегодня Днепропетровская область, Украина).

С 1927 года учился в Харьковском политехническом институте.

В 1932 году окончил Военно-техническую академию имени Ф. Э. Дзержинского. В 1932—1937 годах — инженер, затем начальник КБ научно-исследовательского отдела Военной академии механизации и моторизации Рабоче-крестьянской Красной армии.

C 1937 года — главный конструктор Кировского завода.

В 1941—1943 годах — заместитель наркома танковой промышленности СССР, главный конструктор Челябинского тракторного завода. Возглавлял работы по созданию тяжёлых танков КВ-2, КВ-1, КВ-85, ИС-1, ИС-3. Котин является одним из создателей знаменитого тяжелого танка в период второй мировой войны — ИС-2 со 122-миллиметровой пушкой Д-25Т. В 1943—1944 годах под руководством Котина на базе танков КВ-1с и ИС были созданы самоходные артиллерийские установки СУ-152, ИСУ-152, ИСУ-122. За годы войны на Челябинском тракторном заводе было выпущено 18 тысяч танков и самоходных установок.

В послевоенные годы Котин вернулся в Ленинград, где руководил разработкой тяжёлого танка ИС-4 (1947), плавающего танка ПТ-76 (1951), тяжёлого танка Т-10 (1953), плавающего бронетранспортёра БТР-50П (на базе танка ПТ-76), а также трелёвочного КТ-12 (1948) и колёсного К-700 (1963) тракторов и др.

С 1968 года — заместитель министра оборонной промышленности СССР. Генерал-полковник инженерно-технической службы.

В 1989 году на доме № 27 по Кронверкской улице была установлена мемориальная доска. Текст на доске гласит: «В этом доме с 1951 по 1968 год жил выдающийся советский конструктор танков, генерал-полковник, Герой Социалистического Труда, Жозеф Яковлевич Котин".