Кирпичный двухэтажный дом был построен семьёй ярославских мещан и купцов Чирковых в конце XVIII века, за Волгой, в исторической Тверицкой слободе. После вхождения слободы в состав города в XIX веке были образованы кварталы вдоль современной Тверицкой набережной, и дом Чирковых вошёл в состав квартала № 108, под номером 103 по линии набережной.
Дом прямоугольный в плане, симметричный, в 6 осей по главному фасаду, обращённому на Волгу. Имеет "скромный, но выразительный фасад. Лишённый декора первый этаж с низкими окнами служит как бы цоколем для второго, парадного этажа, расчленённого двойными нишами вокруг окон с узкими надоконными нишками над ними и завершающегося высоким многоуступчатым карнизом, украшенным сухариками-дентикулами" (из описания Виктора Марова). Систему горизонтального членения фасада традиционно для классицизма составляют: рельефно выделенный цоколь, промежуточный карниз в три уступа и антаблемент, составленный из рельефно выделенной архитравной тяги и венчающего карниза с дентикулами. Углы здания оформляют опоясывающие лопатки — традиционное практичное утолщение стен во избежание промерзания углов.
Весь дореволюционный период дом оставался во владении семьи Чирковых, после 1918 года был национализирован и превращён в квартирный жилой дом, тем не менее в некоторых из квартир продолжали жить потомки Чирковых. 24 января 1089 года решением Ярославского облисполкома дом признан памятником архитектуры регионального значения. Основная ценность дома — формирование и удержание разреженной линии исторической застройки по Тверицкой набережной. К концу 2010-х годов дом обветшал, был расселён, в 2022 году выкуплен частным лицом. В 2023 году проведена реставрация дома с частичной реконструкцией, в ходе которой были укреплены фундамент, исторические стены, заново сооружена кровля. В ходе работ к тыльной, северо-восточной стороне дома сделана пристройка во всю длину дома и глубиной в одну ось. Также в ходе работ были утрачены историческая расстекловка оконных проёмов (установлены сплошные стёкла без оконных переплётов) и изменена цветовая схема окраски фасадов: вместо жёлтого основного цвета с побелённым декором дом выкрашен в сплошной белый цвет. Всё это привело к частичной потере выразительности и обезличиванию фасадов здания. Вместе с этим, на фасадах установлена архитектурная подсветка. Номер памятника в реестре ОКН: 7600216000