В 1780-х гг. владелец участка гвардии капитан-поручик П.О.Кожин возвел трехэтажный дом с тремя фасадами. Скругленные углы здания сохранились и поныне.
В 1789 г. за долги дом был продан царскосельскому протоиерею А. А. Самборскому — наставнику вел. кн. Александра и Константина Павловичей. На участке с восточной стороны от дома Самборский разбил сад-огород.
В 1798 г. Андрей Афанасьевич продал дом в казну — сначала здесь разместилась Экспедиция государственного хозяйства, затем лейб-гвардии артиллерийский батальон — офицерские квартиры.
В 1858 г. дом покупает барон Б. А. Фитингоф и дом перестраивается его по проекту Е.А.Тура. Облик здания полностью изменен в барочно-ренессансном стиле.
С 1883 г. домом владел граф А. Д. Шереметев. После свадьбы с графиней М.Ф. Гейден граф перестраивает особняк. Заново спроектирована отделка внутренних помещений.
Проект главной лестницы, зала и парадных комнат разработал арх. А. И. Гоген.
В 1887 г. — арх. Барановский Г. В. устраивает домовую церковь в русском стиле над парадной лестницей.
(источник: Иванов А.А. "Набережная Кутузова" — М.-C.-Пб., Центр-Полиграф, МиМ-Дельта, 2003
С 1934 г. — Дом писателей.
В начале 1990-х гг. произошел сильный пожар.
После ремонта здесь разместилась гостиница Sheremetev Palace — Дворец Шереметьева. Интерьеры пострадали во время пожара, частично восстановлены, частично обновлены.