Дворец графа Мусина-Пушкина на Разгуляе построен в в 1790-х гг. на месте дома Якова Вилимовича Брюса, сподвижника Петра I.
Проект дома приписывают М. Ф. Казакову, как обычно без доказательств.
Дом выгорел полностью в прожаре 1812 г., в огне погибла библиотека Мусина-Пушкина, в числе книг и рукописей сгорел и оригинал "Слова о полку Игореве".
В 1835 году дом был куплен московскими властями для размещения Второй Московской гимназии.
В советское время дом был надстроен четвёртым этажом, исказившим его архитектурный облик. Занимали его военный госпиталь, Дом Красной Армии, Московский индустриально-педагогический институт имени Карла Либкнехта, ставший затем педагогическим институтом, а с 1943 года — Московский государственный строительный университет.
С 2017 г. пустует.
Объект культурного наследия народов РФ федерального значения. Рег. № 771420968410006 (ЕГРОКН).