Начат постройкой по проекту Этьена Бушара по заказу князя Воронцова С. М., после смерти обоих строительство остановлено. Приобретён Удельным ведомством для строительства царской резиденции в 1889 г. В 1892 г. по воле государя Александра III академик архитектуры Месмахер М. Е. разработал проект реконструкции здания. В 1902 г. дворец принят Удельным ведомством в казну, но как царская резиденция не использовался.
После 1920 г. национализирован.
В 1929-1941 гг. дворец использовался в качестве санатория «Пролетарское здоровье» для тяжелобольных туберкулёзом.
В 1944-1946 гг. — НИИ виноградарства"Магарач".
В 1947-1989 гг. — правительственная дача.
С 1992 г. — музей.
Первоначальные декор и интерьеры в основном сохранены.
Объект культурного наследия народов РФ федерального значения. Рег. № 911510368570016 (ЕГРОКН).