Дмитрий Алексеевич Ольдерогге родился 6 мая 1903 года в Вильне, в семье офицера Алексея Ольдерогге и Глафиры Шульц, дочери старшего врача Санкт-Петербургского почтамта. С 1906 года семья проживала в Санкт-Петербурге.

До революции Дмитрий Ольдерогге учился в Первом кадетском корпусе, где успел окончить шесть классов. В 1919 году, после отъезда отца за границу, юноша брался за самую разную работу и пытался бессистемно получать дополнительное образование. В 1920 году Ольдерогге вступил в ряды Красной Армии, проходил службу в штабе и в боевых действиях не участвовал. За два года он дослужился до помначштаба и от своей части был направлен на учёбу в Петроградский университет, на этнолого-лингвистическое отделение факультета общественных наук.

После окончания университета в 1925 году Дмитрий Ольдерогге стал научным сотрудником отдела Африки Академического музея антропологии и этнографии (Кунсткамеры).

В конце 1920-х годов, после возвращения из зарубежной командировки, где познакомился в опытом работы иностранных коллег-африканистов, молодой ученый приступил к созданию советской системы университетского изучения африканских языков и дисциплин, связанных с Африкой. Он вел курс суахили в Ленинградском Восточном институте, а также добился включения африканских языков с 1934—1935 учебного года в учебную программу, после чего стал там руководителем цикла преподавания языков банту, включавшего курс суахили, зулу и африканистические дисциплины.

В 1929 году. Д. А. Ольдерогге заведующим отделом Африки в Музее антропологии и этнографии, во главе которого оставался до 1986 года. В 1935 году ему без защиты диссертации присуждается учёная степень кандидата этнографии. С 1936 по 1940 год учёный исполнял обязанности заместителя директора Института антропологии и этнографии АН СССР — директора МАЭ.

В начале Великой Отечественной войны Ольдерогге, имевший звание капитана запаса, некоторое время участвовал в подготовке оборонительных рубежей, состоял в отряде гражданской обороны, занимался ликвидацией последствий бомбардировок Ленинграда зажигательными бомбами. Научную деятельность не прекращал даже в голодную зиму 1941—1942 годов. В августе 1942 года Ольдерогге вместе со многими другими учёными был эвакуирован в Ташкент, в мае 1944 года вернулся обратно. Был награждён медалью «За оборону Ленинграда».

В марте 1945 года Ольдерогге защитил докторскую диссертацию на соискание учёной степени доктора исторических наук. В 1960 году африканист был избран членом-корреспондентом АН СССР (отделение литературы и языка).

Период со второй половины 1950-х ознаменовался для исследователя многочисленными рабочими поездками за рубеж. Так, в 1958 году он посетил целый ряд египетских музеев, понаблюдал за современным укладом жизни в разных населённых пунктах, а также принял участие в праздновании 50-летнего юбилея Каирского университета и много общался с местными представителями исторической науки. С декабря 1963 по март 1964 года. Ольдерогге руководил советской лингвистической экспедицией в Мали. Визит учёных состоялся по приглашению местного правительства для оказания содействия в разработке письменностей для наиболее крупных языков республики. В 1966 году по приглашению ЮНЕСКО Ольдерогге посетил Сенегал, где в Дакаре проходил Первый Всемирный Фестиваль негрских искусств. В 1968 году в составе делегации советских учёных африканист принял участие в работе VIII Международного конгресса антропологических и этнографических наук в Токио. В том же году он побывал в Эфиопии, где ему была вручёна премия имени Хайле Селассие.

В сфере педагогики Ольдерогге заявил о себе, став одним из пионеров преподавания африканских языков в СССР. Он во многом обеспечил и необходимую базу для изучения африканских языков — так, в 1961 году под его редакцией вышел первый суахили-русский, а в 1963 году — первый хауса-русский словарь. Специалисты со знанием африканских языков, подготовленные кафедрой под руководством Ольдерогге, изначально составили кадровую основу для школ африканистики, возникавших в других вузах.

Ольдерогге также известен как публикатор исторических источников и фольклорных материалов. Издание арабских источников по средневековой истории Африки, предпринятое по его инициативе, опередило аналогичные зарубежные проекты.

Д.А. Ольдерогге ушёл из жизни 30 апреля 1987 года. Похоронен на Богословском кладбище Санкт-Петербурга.