Константин Сергеев родился в Петербурге. Занимался на вечерних курсах при Ленинградском хореографическом училище (ныне Академия русского балета имени А. Я. Вагановой), затем в самом училище.

Будучи студентом, начал танцевать в труппе И.Ф. Кшесинского. По окончании училища в 1930 году был принят в Мариинский театр, где работал как солист до 1961 года. Обладая благородной внешностью и высочайшим актёрским мастерством, с блеском исполнял ведущие партии классического репертуара, трактуя их в глубоко психологическом, правдивом ключе.

В 1930—1940 годах выступал вместе с Г.С. Улановой, их дуэт считается одним из лучших в истории русского балета. Именно они были первыми исполнителями заглавных партий в первой постановке балета С. С. Прокофьева «Ромео и Джульетта». После войны танцевал в дуэте с женой Н.М. Дудинской.

С 1946 года работал балетмейстером. В 1951—1955 и 1960—1970 годах — главный балетмейстер Ленинградского театра оперы и балета им. С. М. Кирова (ныне Мариинский театр). Осуществил первые постановки ряда современных советских балетов («В порт вошла „Россия“» В. П. Соловьёва-Седого, 1964; «Гамлет» Н. П. Червинского, 1970), а также новые редакции классических спектаклей, среди которых наиболее известны «Спящая красавица» П. И. Чайковского, «Раймонда» А. К. Глазунова, «Золушка» С. С. Прокофьева (1945, 1964) и многие другие.

Ставил балеты в Ленинградском хореографическом училище, Московском музыкальном театре им. К.С. Станиславского и В.И. Немировича-Данченко, Большом театре, а также за рубежом.

С 1931 года преподавал классический танец, в 1938—1940 и с 1973 года — художественный руководитель Ленинградского хореографического училища, с 1991, после преобразования училища — президент Санкт-Петербургской академии русского балета им. А. Я. Вагановой, вёл курс «Классическое наследие». В училище преподавал актёрское мастерство.

Автор сценария нескольких телефильмов-балетов, сам снимался в таких постановках, вёл цикл телепередач об истории русского балета «Искусство русского балета».

В 1953 году на киностудии «Ленфильм» был снят фильм «Мастера русского балета». В фильм вошли фрагменты балетов Б. В. Асафьева «Бахчисарайский фонтан» и «Пламя Парижа», а также балета «Лебединое озеро» П. И. Чайковского. Исполнил в этом фильме партию принца Зигфрида с Одеттой — Г.С. Улановой и Одиллией — Н.М. Дудинской.

Творчеству балетмейстера посвящён телефильм «Константин Сергеев. Страницы хореографии».

В 1994 году на доме № 2 по Каменнноостровскому проспекту, где артист жил с 1951 года, была открыта мемориальная доска.