В петровское время на участке стоял дом капитана И. К. Муханова.
В 1720-х гг. на этом участке арх. Ф.-Б. Растрелли построил дворец Д. К. Кантемира (молдавского господаря) .
В 1800-х гг. арх. Л. Руска перестроил дворец в классическом стиле.

В 1875-1877 гг. арх. К. К. Рахау заново перестроил здание для владельца — лесопромышленника И. Ф. Громова. При этом архитектор полностью изменил декор. Два прямоугольных эркера поддерживают поясные скульптуры кариатид.
Внутренние помещения были отделаны в стиле готики и рококо.
На углу Миллионной ул. и Мраморного пер. установлена мраморная группа из трех женских фигур, символизирующих плодородие, искусство и мореплавание.
В корпусе, выходящем на Дворцовую набережную сейчас располагается Морской Регистр Российской Федерации, а корпуса, выходящие на Мраморный переулок и Миллионную улицу долгое время были жилыми, в 1986 году эта часть здания была передана Институту Культуры (учебный корпус № 2).
Памятник градостроительства и архитектуры. Регистрационный номер: 781620430830006.