Усадьба построена купцом первой гильдии М.П. Дурыгиным. После смерти владельца в 1821 годах перешла сыновьям А.М. и И.М. Дурыгиным. С 1845 году принадлежала его внучке М.И. Солодовниковой. В 1861 году продана полковнице Е.Н. Мичуриной, которая использовала дом как доходный. Кроме сдаваемых внаём квартир в здании разместились прачечная и пекарня. С 1899 года в доме разместилось губернское акцизное правление.
На рубеже XIX-XX веков проведён капитальный ремонт. В 1910 году перестроены лестницы, устроен вход на восточном фасаде и крыльцо на западном.
Ныне здание занимает Костромской областной колледж культуры.
Памятник архитектуры федерального значения № 4410027001.