Построен во время правления польского короля и великого князя литовского Августа III как летняя резиденция польских королей и великих князей литовских. Здесь проходили генеральные сеймы I Речи Посполитой. Во время последнего из них, в 1793 году, в замке было подписано соглашение о разделе Речи Посполитой с Россией и Пруссией, а в 1795 году польский король и великий князь литовский Станислав Август Понятовский поставил здесь подпись под актом отречения от престола. Король жил в замке до 1797 года.
В одной части дворца находились королевские покои, в а другой — помещения, предназначенные для заседаний сейма. Для нужд сейма во дворе также в 1726 году было построено специальное здание. После 1750 года построена часовня, крытая куполом, частично сохранились также въездные ворота. После разделов Речи Посполитой российские власти устроили во дворце госпиталь и казармы.
В июле 1944 года здание сгорело в результате военных действий. Вновь отстроено к 1952 году в стиле советского неоклассицизма. В нём размещался областной комитет КПСС. В настоящее время там размещается часть экспозиции Гродненского историко-археологического музея. В 1994 году установлена памятная доска в честь национально-освободительного восстания 1794 г. под руководством Т. Костюшко.