Из петербургской еврейской купеческой семьи. Учился в Тенишевском училище, увлекался эсеровским движением (воспоминания "Шум времени",1925). В 1907-08 годах слушал лекции в Париже, в 1909-10 годах в Гейдельберге, в 1911-17 годах изучал в Петербургском университете романскую филологию (курса не закончил).

Первые стихотворные опыты в народническом стиле относятся к 1906 году, систематическая работа над поэзией началась с 1908 года, первая публикация вышла в 1910 году. Мандельштам примыкает к символизму (посещает В. И. Иванова, посылает ему свои стихи).

В 1911 году Мандельштам сближается с Н. С. Гумилевым и А. А. Ахматовой, в 1913 году его стихи Notre Dame, "Айя-София" печатаются в программной подборке акмеистов. Поэт уподобляется зодчему, первая книга Мандельштама называется "Камень" (1913, 2-е изд. 1916). Так же "зодчески" должно строиться и общество (стихи о всеединящем Риме, статьи "Петр Чаадаев", "Скрябин и христианство"). Стихи его приобретают высокую торжественность интонаций, насыщаются классическими мотивами ("Петербургские строфы", "Бах", "Я не увижу знаменитой "Федры"); в сочетании с бытовыми и книжными темами это порой дает отстраненно-причудливые рисунки ("Кинематограф", "Домби и сын"). К нему приходит известность в литературных кружках, он свой человек в петербургской богеме, задорный, ребячливый и самозабвенно-торжественный над стихами.

Первую мировую войну Мандельштам сначала приветствует, потом развенчивает ("Зверинец"); отношение к октябрю 1917 года как к катастрофе ("Кассандре", "Когда октябрьский нам готовил временщик...") сменяется надеждой на то, что новое "жестоковыйное" государство может быть гуманизовано хранителями старой культуры, которые вдохнут в его нищету домашнее, "эллинское" (а не римское!) тепло человеческого слова. Об этом его лирические статьи "Слово и культура", "О природе слова", "Гуманизм и современность", "Пшеница человеческая" и др. (1921-22). В 1919-20 (и позднее, в 1921-22) годах он уезжает из голодного Петербурга на юг (Украина, Крым, Кавказ: воспоминания "Феодосия", 1925), но от эмиграции отказывается; в 1922 поселяется в Москве с молодой женой Н. Я. Хазиной (Н. Я. Мандельштам), которая станет его опорой на всю жизнь, а после гибели героически спасет его наследие.

С 1924 года Мандельштам живет в Ленинграде, с 1928 в Москве, бездомно и безбытно, зарабатывая изнурительными переводами: "чувствую себя должником революции, но приношу ей дары, в которых она не нуждается". Он принимает идеалы революции, но отвергает власть, которая их фальсифицирует. В 1930 году он пишет "Четвертую прозу", жесточайшее обличение нового режима, а в 1933 году стихотворную инвективу ("эпиграмму") против Сталина ("Мы живем, под собою не чуя страны..."). Этот разрыв с официальной идеологией дает ему силу вернуться к творчеству (за редкими исключениями, "в стол", не для печати): его стихи о чести и совести, завещанных революционными "разночинцами", о новой человеческой культуре, которая должна рождаться из земной природы, как биологическое или геологическое явление ("Сохрани мою речь...", "За гремучую доблесть грядущих веков...", "Армения", очерки "Путешествие в Армению"). Ассоциативный стиль его стихов становится все более резким, порывистым, темным; теоретическая мотивировка его в эссе "Разговор о Данте" (1933).

В мае 1934 года Мандельштам арестован (за "эпиграмму" и другие стихи), сослан в Чердынь на Северном Урале, после приступа душевной болезни и попытки самоубийства переведен в Воронеж. Там он отбывает ссылку до мая 1937 года, живет почти нищенски, сперва на мелкие заработки, потом на скудную помощь друзей. Мандельштам ждал расстрела: неожиданная мягкость приговора вызвала в нем душевное смятение, вылившееся в ряд стихов с открытым приятием советской действительности и с готовностью на жертвенную смерть ("Стансы" 1935 и 1937, так называемая "ода" Сталину 1937 и др.); впрочем, многие исследователи видят в них лишь самопринуждение или "эзопов язык". Центральное произведение воронежских лет "Стихи о неизвестном солдате", самое темное из сочинений Мандельштама, с апокалиптической картиной революционной войны за выживание человечества и его мирового разума. Мандельштам то надеялся, что "ода" спасет его, то говорил, что "это была болезнь", и хотел ее уничтожить. После Воронежа он живет год в окрестностях Москвы, "как в страшном сне" (А. Ахматова). В мае 1938 года его арестовывают вторично "за контрреволюционную деятельность" и направляют на Колыму. Он умер в пересыльном лагере, в состоянии, близком к сумасшествию, по официальному заключению от паралича сердца. Имя его оставалось в СССР под запретом около 20 лет.