Здание выстроено для Академии художеств.
Объект исторического и культурного наследия федерального (общероссийского) значения.

Первый проект разработал Ж. Б. Валлен-Деламот, а непосредственно строительством, со многими авторскими дополнениями, занимались сначала А. Ф. Кокоринов, а после его кончины — Ю. М. Фельтен. Здание было готово только к 1789 году, но внутренние работы по отделке продолжались вплоть до 1830-х годов.
Здание представляет собой замкнутый блок с пятью внутренними дворами. В основе композиции плана здания круг, вписанный в прямоугольник.
В центре здания — портик главного входа. Между колоннами ионического ордера расположились статуи Геракла и Флоры. Геракл опирается на палицу, сделанную и ясеня Киферонских садов. На палицу наброшена шкура Немейского льва. В

левой руке за спиной он держит 3 золотых яблока из сада Гесперид. Рядом богиня цветов — Флора.

Над дверью здания надпись:"Свободным художествам. Лета 1765".
В 1918 училище при Академии художеств было реорганизовано в Государственные свободные художественные учебные мастерские, которыми руководили Л. Н. Бенуа, Д. Н. Кардовский. А. А. Рылов, А. Т. Матвеев. И К. С. Петров-Водкин.
В 1921 мастерские переименовали в Высшие художественно-технические мастерские (ВХУТЕМАС), а в 1922 г. объединили с центральным училищем технического рисования барона А.Л. Штиглица в высший художественно-технический институт (ВХУТЕИН), просуществовавший до 1930. Из него выделили институт пролетарских изобразительных искусств. В 1932 г. он был реорганизован в институт живописи, скульптуры и архитектуры, получивший в 1944 г. имя И. Е. Репина. Это название сохранилось и до настоящего времени.

На первом этаже здания находились квартиры профессоров и чиновников, на втором — конференц-зал, картинная и скульптурные галереи, библиотека и учебные классы, а на третьем — классы, спальни, лазарет и квартиры учителей.