Дом построен на рубеже XVIII и XIX веков одной из ветвей графов Толстых. В 1818 году разбогатевший на хлопковых тканях купец Андрей Сидорович Карзинкин приобрёл дом у графа Фёдора Толстого. Наследники Карзинкина преумножили семейное богатство. В 1894 году особняк был перестроен архитектором В. В. Барковым.
С 1890-х и до 1957 г. в доме проживал видный русский коммерсант и литератор, после 1917 г. — деятель системы советского просвещения Н. Д. Телешов.
Потомки Карзинкиных-Телешовых проживают в доме по настоящее время.
С 1981 года в доме также находится Московское городское отделение Всероссийского общества охраны памятников истории и культуры.
Объект культурного наследия народов РФ федерального значения. Рег. № 771410650060006 (ЕГРОКН).