Родился в крестьянской семье. Окончил земское училище. После переезда в Петербург работал токарем на Путиловском заводе.

В 1899 году вместе с другими членами организованного им марксистского кружка был впервые арестован и выслан в Тифлис. В последующие годы Калинина неоднократно арестовывали, в разное время он высылался в Эстонию, Карелию, где вел активную политическую кружковую деятельность.

В Февральскую революцию Калинин был одним из руководителей разоружения охраны и захвата Финляндского вокзала. Принимал активное участие в подготовке и проведении Октябрьской революции. В ноябре 1917 года стал городским головой. После роспуска Петроградской городской думы возглавил Комиссариат городских хозяйств Союза коммун Северной области и Петроградской трудовой коммуны.

Во время гражданской войны вел пропагандистскую работу, выезжал в районы боевых действий, где выступал в частях Красной Армии и перед местным населением.

В 1919 году избран председателем Всероссийского центрального исполнительного комитета. Занимал эту должность до 1938 года, когда ЦИК был устранен.

В 1918-1919 годах Калинин жил и работал в доме № 4 по Большой Дворянской улице (сегодня улица Куйбышева), в особняке балерины Матильды Кшесинской. В эти годы здесь располагались учреждения Петроградского совета рабочих и солдатских депутатов.

С 1938 по 1946 год Калинин - Председатель Президиума Верховного Совета СССР.