Здание дворца наместника начато постройкой как часть комплекса построек правительственных учреждений на вновь образованной площади по новому генеральному плану Ярославля. Постройка дворца остановлена повелением ператрицы Екатерины II в 1787 г. По распоряжению императора Павла I обветшавшее недостроенное здание разобрано на кирпич в 1798 г. Его место заняли постройки Мытного двора (часть снесена при постройке здания Ярославского городского полицейского управления).
"Дворец, насчитывавший около 80 помещений, имел строгую симметричную композицию с высокой парадной лестницей, просторным вестибюлем, бесконечной анфиладой комнат, с овальными залами на скруглённых углах здания. Декоративное оформление фасадов почти полностью повторяло архитектуру корпусов присутственных мест. Но главенствующее положение дворца подчёркивалось шестью колоннами на портике (а не четырьмя, как на южном и, первоначально, на северном корпусах присутственных мест) и более высоким аттиком, украшенным крупными лепными гирляндами с картушем в центре" (описание дворца, сделанное Виктором Маровым).