Преподнесён в дар ко дню бракосочетания Александра Павловича (Александра I) с великой княжной Елизаветой Алексеевной. Позже был резиденцией Александра III, затем Николая II. В XIX веке интерьеры дворца доделывались и перестраивались с участием множества известных архитекторов: Л. Руска, К. Макера, С. Черфолио, А. А. Тона, В. П. Стасова, Д. Е. Ефимова, А. И. Штакеншнейдера, А. Ф. Видова, С. А. Данини, Р. Ф. Мельцера.
В 1918 году национализирован, открыт музей. Позднее в левом крыле разместился дом отдыха сотрудников НКВД, в правом — Детский дом имени Юных Коммунаров. Во время оккупации здание занимал немецкий штаб и гестапо, в подвале устроена тюрьма, во дворе кладбище для солдат СС. После войны был законсервирован. В июне 1946 года отдан АН СССР. В 1947-1951 годах проводились реставрационные работы. В 1951 году дворец передан ВМФ.
В начале 1990-х передан Государственному музею-заповеднику Царское село. В 1996 году началась реставрация. Открыт для посетителей в августе 1997 года.