Родился в Псковской области в многодетной семье. Трудовую деятельность начал учеником токаря на Балтийском заводе. В 1937 году Панфилов пришел на Ленинградский оптико-механический завод рядовым инженером, вскоре был назначен главным технологом, а с 1951 года – директором завода.

В 1961 году Панфилов был назначен заместителем председателя Ленинградского совнархоза и возглавил инициативную группу по созданию отраслевых производственных объединений как новой формы организации производства и управления. Одним из них стало Ленинградское оптико-механическое объединение (ЛОМО), образованное на базе нескольких заводов. С 1962 по 1986 год Михаил Панфилович являлся генеральным директором новой фирмы, а до самой смерти оставался на должности консультанта. За короткое время объединение приобрело мировую известность и стало одним из лидеров военно-промышленного комплекса страны.