Родился в 1918 году в Петрограде. После окончания Московского архитектурного института вернулся в Ленинград, где и провёл большую часть жизни.

Первые художественные проекты, в которых Михаил Гордон участвовал как декоратор-оформитель, относятся к концу 1930-х. Он принимал участие в создании праздничного оформления Ленинграда, Всесоюзной сельскохозяйственной выставки в Москве (1939) и советского павильона Всемирной выставки в Париже (1937).

В годы Великой Отечественной войны лейтенант М. Гордон начал работать как плакатист с художниками ленинградской школы, вошёл в группу блокадных художников «Боевой карандаш». Принимал участие в создании выставки «Героическая оборона Ленинграда», на основе которой вскоре был создан Музей обороны и блокады Ленинграда. Награждён орденом Красной Звезды и медалью «За оборону Ленинграда».

Расцвет творчества пришёлся на 1960-80-е годы. Темы его произведений были посвящены событиям в жизни советского общества: годовщинам Октябрьской революции и съездам КПСС, первомайским праздникам, достижениям СССР в космосе и др. Оформлял первые полосы праздничных выпусков ленинградских газет, газет «Правда» и «Известия», в том числе выпуск «Правды» от 13 апреля 1961 года с обращением Никиты Хрущёва по случаю первого полёта в космос Юрия Гагарина. Одним из первых включил знаменитый символ СССР — серп и молот в шрифт плаката, впоследствии довольно часто использовал подобные смелые игровые трактовки известных графических символов. Был членом редколлегии московского издательства «Плакат», председателем художественного совета по плакату в Ленинградском отделении Художественного фонда РСФСР. В 1980 г. победил на международном конкурсе политического плаката в Варшаве (с работой «Пушкин и Мицкевич»).

Как книжный график сотрудничал с Лениздатом, издательством «Искусство». Дипломант 2-й степени Всесоюзного конкурса «Лучшие книги 1965 года» за книгу В. Раздольской «Мазерель.

Оформлял спектакли в Государственном академическом театре оперы и балета им. Кирова (балет «Ленинградская симфония» на музыку Дмитрия Шостаковича), Ленинградском государственном театре им. Ленсовета, в Ленинградском государственном академическом Малом театре оперы и балета (балет «Конёк-Горбунок»). Автор многих театральных плакатов и афиш.

Автор графического символа фестиваля «Ленинградская музыкальная весна», обложки журнала «Звезда» и ставшего знаменитым плаката с портретом Аркадия Райкина.

Графические и тиражные работы Михаила Гордона находятся в РГБ в Москве, Российской национальной библиотеке в Санкт-Петербурге, в Государственном мемориальном музее обороны и блокады Ленинграда, Рыбинском художественном музее. Около трёх десятков оригинальных макетов и тиражных плакатов художника есть в частной коллекции в Москве; частных собраниях в Англии, Германии, США и других.