Здание построено в 1790 г. для Главного народного училища (в 1786-1790 гг. находилось поблизости, в старых комендантских хоромах), преобразованного в 1810 г. в Олонецкую губернскую гимназию. В 1870-е пристроены помещения для преподавателей.
После революции здание в разное время занимали Дворец труда, Дворец пионеров, публичная библиотека, культурно-просветительское училище. С 1960 г. в нём разместился новый Музей изобразительных искусств, занявший все его помещения в 1982г.
На здании музея находятся мемориальные доски, посвященные языковеду Филиппу Фортунатову, учившемуся в гимназии в 1857-1863 гг., и художнику Василию Поленову, учившемуся в ней в 1859-1863 гг.