Выстроен как дворец графов Шереметевых ("Фонтанный дом").
В 1712 г. Петр I подарил один из участков на Фонтанке своему соратнику фельдмаршалу Б. П. Шереметеву для сына графа Петра Шереметева. Более 150 лет (до 1918 г.) дворец и усадьба принадлежали пяти поколениям известного дворянского рода Шереметевых.
В середине XVIII в. С. И. Чевакинский и Ф. Л. Аргунов (из семьи крепостных Шереметева художников Аргуновых) по проекту П. М. Еропкина (1730-е гг.) возвели каменный Фонтанный дом, построенный в глубине участка.
В 1838 г. по проекту И. Д. Корсини была сооружена чугунная ограда.

После Октябрьской революции в доме был открыт музей дворянского быта, существовавший до 1931 г. В основу его фондов было положено частное собрание Шереметевых, универсальное по характеру и разнообразное по предметам. Оно включало в себя живописную картинную галерею, собрание скульптуры, оружия, нумизматику, предметы декоративно-прикладного искусства (собрания бронзы, фарфора, серебра, мебели), библиотеку (нотное и книжное собрание, рукописные материалы, открытки), собрание церковной утвари и икон (из домовой церкви Фонтанного дома) и т. д.

К 1928 г. во дворце расположился Астрономический институт, который занимался теоретической разработкой и практическим применением научных методов в области астрономических и геодезических исследований.
15 октября 1935 года в Шереметевском дворце, по инициативе Я. И. Перельмана, открылся Дом занимательной науки. Закрыт 29 июня 1941 года. В годы блокады почти вся экспозиция погибла. Подробная история ДЗН — http://n-t.ru/ri/ms/dz09.htm
Затем в здании располагались научно-исследовательские учреждения. В 1989 г. часть помещений Шереметевского дворца была передана Музею театрального и музыкального искусства, и во дворце начались реставрационные работы, по воссозданию интерьеров XVIII-XIX вв.
С 1945 по 1988 год в здании дворца располагался ААНИИ — Арктический и Антарктический научно-исследовательский институт.

В 1990-х гг. несколько залов дворца выделили под возрожденный Музей музыкальных инструментов.