За всю свою историю дом пережил несколько реконструкций. Следующая перестройка дома относится к середине XIX века. Дом был перестроен в классическом стиле. Были убраны сандрики и частично изменено расположение окон. Вместо сандриков на боковых частях дома, на уровне второго этажа появились лепные маски львов. Также была переделана центральная часть паркового фасада (возможно, тогда он стал главным): были выложены добавочные пилястры, между которыми устроили окна, завершенные арочными нишами и полуфронтонами.
Последнее изменение дома было осуществлено в конце XIX века при последних владельцах усадьбы — Сталь фон Гольштейнах. Появились массивные кирпичные столбы, подпирающие балконы: четыре столба — со стороны парка и два — от реки. Во время ремонтов и перестроек дома происходила модернизация старых интерьеров, в итоге получилось сочетание неоклассицизма и необарокко.
В 1928 году в усадьбе был открыт Дом отдыха областного комитета ВКП(б). Отныне и на долгие десятилетия бывшая усадьба была предназначена для отдыха партийно-советской элиты и высоких гостей Воронежа.
В 2012 году ООО «Стройинжиниринг» завершило реставрацию господского дома. Историческая часть проекта создана московским архитектором-реставратором В.С. Федотовой при участии С.И. Якушева.