С начала 1760-х гг. трехэтажный каменный особняк на этом участке принадлежал И. П. Елагину, приближенному Екатерины II, с 1766 г. управлявшему театрами.
В 1802 г. дом был приобретен казной, и в нем разместили канцелярию военного генерал-губернатора Петербурга.
Дом Санкт-Петербургского военного генерал-губернатора находился на участке, расположенном на Большой Морской ул., 38. Это было трехэтажное здание с каланчой; главный его фасад выходил на Большую Морскую ул., а задний – на наб. р. Мойки. Благодаря каланче, чья высота достигала 12 метров, это не слишком высокое здание (около 7 саженей, примерно 15 метров) доминировало над окружающей застройкой.
в 1870 г. Обществом поощрения художеств было получено от казны строение бывшего обер-полицмейстерского дома. В нем разместились Рисовальная школа, Худож.-пром. музей (основан в 1870 г. по инициативе Григоровича; с 1899 г. носил его имя), художественный магазин и выставочные залы.
В 1877-1878 гг. здание перестроили по проекту М. Е. Месмахера, а в 1890-1893 гг. оно претерпело капитальную перестройку, произведенную И. С. Китнером, получив существующий доныне облик.
В 1929 г. общество поощрения художеств было упразднено, вместо него возник Союз художников, ставший хозяином дома.