Окончил Ленинградский техникум экранного искусства, затем кинофакультет Государственного института истории искусств. В 1928 году пришёл работать на Ленинградскую кинофабрику «Совкино» (сегодня – «Ленфильм»). Начинал как сценарист, позже как режиссёр-постановщик возглавил 1-ю комсомольскую постановочную бригаду, выпустившую фильмы, посвящённые советской молодёжи — «Ветер в лицо» (1930), «Полдень» (1931), комедию «Горячие денёчки» (1935). Во время эвакуации, в 1941—1942 годах, был художественным руководителем Ташкентской и Тбилисской киностудий, потом вернулся в Ленинград.

В 1950-х годах самыми значительными работами Хейфица стали фильмы в жанре социально-психологической драмы – «Большая семья» (1954), «Дело Румянцева» (1955), «Дорогой мой человек» (1958).

В 1960-е годы режиссёр обратился к русской классике, экранизировав произведения А. Чехова, И. Тургенева, А. Куприна. Работы режиссёра удостаивались различных кинематографических призов, в том числе были отмечены и на Каннском кинофестивале (фильм «Дама с собачкой», 1960 г.).

Иосиф Хейфиц – Народный артист СССР (1964), Герой Социалистического труда (1975), дважды лауреат Сталинской (Государственной) премии СССР, награжден двумя орденами Ленина, двумя орденами Трудового Красного Знамени, медалями.