Начало строительства здания датируется 1770 годом. Это был дом губернского прокурора В.И. Иванова.
В 20-х годах XIX века здесь располагался частный пансион, в котором обучались молодые дворяне.
С 1837 года здание принадлежит Д.И. Халютину.
В 1840-е — проект перестройки дома Д.И. Халютина выполнен архитектором Соколовым Семеном Ивановичем.
А во второй половине 1880-х годов епархия приобрела этот дом под общежитие духовной семинарии, после чего здание было перестроено, расширено и пышно декорировано в русском стиле.
Основные строительные работы завершились в 1889 — 1890 годах.