Дом построен в 1784-1787 гг. для президента Императорской Академии искусств И. И. Бецкого.
Авторство постройки точно не установлено, приписывается Ж.-Б. Валлен-Деламоту (по другим данным, автор Ю. М. Фельтен).
В 1830-х гг. дом перешёл в собственность П. А. Ольденбургского, надстроен этаж со стороны Марсова поля (арх. В. П. Стасов). Корпус, выходящий на Дворцовую набережную, сохранил первоначальный облик.
В настоящее время в здании располагается Санкт-Петербургский государственный университет культуры и искусств.