Дом построен по заказу губернского прокурора П.Я. Казаринова. В 1795 году продан Карцеву (или Карцову. В 1860-1870-х годах зданием владел Г.А. Карцев, который приспособил его под гостиницу "Старый двор". В 1883 году гостиница продана с торгов Ф.М. Жукову. В 1904 году перешла в собственность города.
В 1911-1913 годах проведена реконструкция по проекту архитектора Н.И. Горлицына. Боковые крылья и флигели снесены, на их месте выстроены новые трёхэтажные в стиле неоклассицизма. Разобран, но потом восстановлен аттик над сохранённой ротондальной угловой частью здания. Междуэтажные лестницы выполнены в формах модерна.
В 1920-1922 годах в здании размещался 1-й губернский комитет РКСМ. Затем снова использовалось как гостиница.