Южная часть дома была построена в 1780 году как двухэтажный особняк воронежского коменданта А. И. Хрущёва. В 1792 году домом стал владеть губернатор О. И. Хорват. В 1795 году он продал его в казну, и вплоть до 1917 года это здание было официальной резиденцией воронежского губернатора. В нём размещалась канцелярия губернатора и его личные покои.
В начале XIX века усадьба включала в себя дом, два флигеля и большой сад. В середине XIX века дом перестроили по проекту С. Л. Мысловского — главный дом соединили с правым флигелем.