Михаил Костенко родился 16 декабря 1889 года в Белгородской области в семье земского врача. Его старший брат Владимир Костенко — выдающийся кораблестроитель и впоследствии стал одним из организаторов судостроения в СССР.

Окончив в 1907 году белгородскую гимназию и выдержав экзамен на аттестат зрелости при харьковской гимназии, Михаил поступил на естественный факультет Петербургского университета, а через год перешёл в Электротехнический институт.

В 1910 году брат Михаила Владимир был арестован за революционную деятельность и помещен в Трубецкой бастионе Петропавловской крепости, а затем и самого Михаила за участие в студенческом митинге по случаю смерти писателя Льва Толстого исключили из Электротехнического института и сослали «в отдаленные места Пермской губернии» на 3 года.

В ссылке Михаил Костенко работал монтером при телефонной станции, однако вернуться по ее окончании в Электротехнический институт он не смог из-за запрета Министерства внутренних дел. В итоге ему удалось заново поступить в другой вуз — Политехнический институт, который он окончил уже после революции в 1918 году и сразу был оставлен в качестве преподавателя.

В 1919 году Михаил Костенко женился на Ольге Карасевой, студентке Женского политехнического института. Молодожены поселились в брошенной кем-то квартире на нынешнем проспекте Добролюбова, где прожили всю свою совместную жизнь.

Основные труды М. П. Костенко относятся к теории электрических машин и методам их экспериментального исследования и проектирования. Он дал обобщение теории трансформатора, многофазной асинхронной и коллекторной машин; разработал оригинальную схему коллекторного генератора переменного тока, занимался вопросами электрической тяги на переменном токе, электродинамическим моделированием энергетических систем в связи с проблемами устойчивости дальних электропередач, а также вопросами преобразования переменного тока в постоянный.

В 1939–50 годах ученый заведовал лабораторией Энергетического института АН СССР; в 1951–55 возглавлял Ленинградское отделение института автоматики и телемеханики АН СССР. С 1957 по 1963 год М.П. Костенко был членом Президиума АН СССР.

Ученый испытывал все новейшие образцы электрооборудования на базе Ленэнерго, консультировал «Электросилу» и другие электромашиностроительные заводы. Руководил многими исследованиями. Без него не решалась ни одна задача, стоявшая перед советским электромашиностроением.

В 1951 году по инициативе Костенко был создан НИИ электромеханики (ВНИИ электромашиностроения), директором которого он был 11 лет.

Умер 18 декабря 1976 года. Похоронен в Ленинграде на Богословском кладбище.