Дворец известного деятеля русской культуры XVIII в. И. И. Шувалова (1727-1797) построен в 1753-1755 гг. по проекту русского зодчего С. И. Чевакинского.
В 1754 г. были сломаны находящиеся на соседнем участке деревянные строения гофинтендантской конторы, чтобы открыть вид на дворец со стороны Фонтанки.
Участок дома простирался до Невского пр.
В 1775-1776 гг. дом был частично перестроен для нового владельца генерал-прокурора А. А. Вяземского. Фасад переделан в стиле раннего классицизма.

Дворовый фасад не переделывался. В одном из флигелей находилась екатерининская "тайная экспедиция". Дом называли в это время — "генерал-прокурорский дом".
В 1797 г. дом купили в казну.
До 1917 г. он принадлежал Министерству юстиции.
В 1816-1819 гг. арх. И. Минчак осуществил значительную переделку здания.
В 1846-1852 гг. арх. Д. Е. Ефимов перестроил корпус, выходящий на Малую Садовую ул.
В 1900-х гг. надстроен четвертый этаж.