Дом сооружен около 1788 г. для одного из первых бургомистров Петербурга Гаврилы Степановича Зимина.
К 1800 году перестроен в камне.
В 1810-х гг. дом перешел в собственность министра финансов графа Д. А. Гурьева, известного нам рецептом своей знаменитой манной каши с фруктами, миндалем и специями.
Вид дома в конце 1860-х гг. — https://pastvu.com/p/122031
В 1903 г. от наследника Гурьева дом перешел к княгине М. А. Шаховской.
В 1909-1911 гг. по проекту арх. И. А. Фомин выполнена реконструкция интерьеров дома и пристроена галерея в классическом стиле.
В 1930-х гг. по решению Ленинградского исполкома дом надстроили двумя этажами.
В 1957 года здесь разместилось ленинградское/петербургское отделение Математического института им. Стеклова (ЛОМИ/ПОМИ), которое занимает это здание по сей день. Институт математический им. В. А. Стеклова(сначала Ленинградское отделение математического института АН СССР, позднее С.-Петербургское отделение Математического института РАН).
Сайт дома — http://club.pdmi.ras.ru/zimin/

Дом официально числится по Караванной улице, 24-26 и ныне в нем нет жилых помещений.