Построено по проекту Ф. Ф. Эльсона для князя А.Н. Голицына. Материал — местный известняк. По имени владельца получил название Романтическая Александрия.
В 1850-х гг. приобретено великим князем Николам Николаевичем Старшим. С 1865 г. зданием владел граф В. В. Левашов. По девичей фамилии его супруги урожденной княги Паниной стало называться Дворец княгини Паниной. Новые владельцы редко посещали свое приобретение, превратив его в пансион, предоставляли для проживания известных деятелей культуры. На рубеже XIX-ХХ вв. здесь гостили Шаляпин, Горький, Набоков. Толстой написал здесь «Хаджи-Мурата».
После национализации на территории комплекса открыли санаторий. Во время войны на территории дворца организовали госпиталь, а впоследствии здесь сделали санаторий матери и ребенка «Ясная поляна», с 2015 — санаторий ФТС России.
Вследствие плохого содержания на протяжении десятилетий здание находится в аварийном состоянии, не используется, находясь под охраной в ожидании реставрации.
Объект культурного наследия народов РФ федерального значения. Рег. № 911520368850006.