"Участок дома №51 по Большой Морской улице в 1740-х годах был занят строением гвардии сержанта Петра Петровича Нарышкина. Этот дом над своей средней частью имел мезонин в три окна с аттиком и маленький треугольный фронтон над средним окном перед аттиком.
После 1841 года особняк был в руках подполковницы Елизаветы Ивановны Брюн. Она начала перестройку здания, но вскоре скончалась. Дом стал долгостроем. В 1845 году здесь находилось двухэтажное на высоких подвалах строение. Газета "Северная пчела" писала о том, что оно портит вид Большой Морской улицы.
Незавершённую постройку у малолетних наследников выкупила вдова Ивана Дмитриевича Салтыкова Елизавета Павловна. Для Елизаветы Павловны здесь был построен новый двухэтажный особняк. Сначала предполагалось сделать его доходных домом, но затем было решено использовать его в качестве личного жилища владелицы. Строительство начинал архитектор Г. П. Пономарёв, продолжал П. С. Садовников, завершил Г. Э. Боссе.
В 1855 году Салтыкова продала участок молодому графу Павлу Андреевичу Шувалову. Здание стало использоваться как доходный дом.
Дом в 1898 году дом был надстроен третьим этажом, оборудован новой лестницей с лифтом.
В 1920-х годах помещения занимал Ленинградский трест кожевенной промышленности, перед войной — тресты "Дубитель" и "Главкожзаменитель". До недавнего времени здесь работал Военный комиссариат Центрального района."
(Бройтман Л. И., Краснова Е. И.: «Большая Морская улица». Издательство «Центрполиграф», 2005)