При Петре I на месте здания располагался Почтовый дом, где царь справлял праздники и виктории.
В 1768 году по указанию Екатерины II началось возведение дворца для Г.Г.Орлова.
В 1783 году граф Орлов скончался, а дворец был готов к 1785 году.
Из-за применения 32 сортов цветного мрамора в интерьере и на фасадах, данное здание именуется как "Мраморный дворец".
В 1844-1851 гг. арх. А. П. Брюллов перестроил здание внутри, изменив интерьеры. Первоначальную отделку сохранили лишь парадная лестница и нижний ярус Мраморного зала с барельефами работы Ф. И. Шубина и М. И. Козловского.
Первый владелец — граф Г. Г. Орлов, фаворит Екатерины II, отец графа Бобринского.
Затем дворец со служебным корпусом отошел великому князю Константину Павловичу, внуку Екатерины Великой, сыну Павла I.
Следующий владелец — великий князь генерал-адмирал Константин Николаевич, сын Николая I, председатель Государственного Совета, Археологического и Географического общества. Для Константина Николаевича арх. А. П. Брюллов произвел реконструкцию, а также перестройку служебного дома.
Последний владелец — великий князь Константин Константинович, знаменитый поэт К. Р. (Константин Романов).

В 1920 г. здесь разместилась Российская Академия истории материальной культуры.
В 1937-1992 гг. здесь был Музей Ленина с броневиком у входа. Броневик сейчас в Военно-историческом музее артиллерии, инженерных войск и войск связи.
В 1992 г. дворец передан Государственному Русскому музею, здесь размещены выставочные залы.