Самое большое гражданское здание Кремля, имеющее площадь 2530 кв. м. Оно сооружено на участке Рязанского кремля, где до XVI в. предположительно находился княжеский двор. Красивое здание с цветными наличниками, барочным фронтоном и теремными окнами не только в народе, но и в специальной литературе исстари известно как «Дворец Олега».
Прямоугольное в плане каменное трехэтажное здание возводилось поэтапно: первые два этажа (архитектор Ю.К. Ершов) – в середине XVII в., третий этаж (архитектор Г.Л. Мазухин) – в конце XVII в. Позднее (1778-1780 гг.) архитектор Я. Шнейдер сделал пристройку к восточной стороне, увеличив длину здания до 94 м. Дворец Олега – это жилые палаты рязанских архиереев. Помимо жилых палат, в здании размещалась домовая церковь архиереев (западное крыло 2-го и 3-го этажей) и хозяйственные службы (1-й этаж). Здание полностью музеефицировано, здесь находятся исторические экспозиции музея-заповедника. В 2008 году западная часть Дворца Олега изъята из оперативного управления музея и передана Рязанской епархии.