Здание принадлежало старшему внуку А.Н. Радищева — А.В. Радищеву и его детям. Неоднократно перестраивалось. В 1912-1914 годах Л.А. Радищевым сделаны росписи интерьеров в стиле модерн. В 1919 году здание национализировано. В нём разместилась школа ликбеза, позже библиотека. В 1960 году передано под картинную галерею. Галерея открыта 1 мая 1961 года. В декабре 1964 года галерее было присвоено имя К.С. Петрова-Водкина. С 1995 года входит в состав Художественно-мемориального музея К.С. Петрова-Водкина.