В 1749-1750 гг. в центре Зверинца арх-ры С. И. Чевакинский и Ф.-Б. Растрелли возвели один из лучших парковых павильонов в стиле елизаветинского барокко – охотничий павильон Монбижу (моя драгоценность), парный Эрмитажу, с богато оформленными фасадами и интерьерами.
В 1817-1834 гг. его перестроили арх. А. А. Менелас и К. А. Тон. Основой нового композиционного решения послужил центральный двухэтажный объем Монбижу. В обработке фасадов использовано изображение одного из готических замков Англии — Шрубс-Хилла, известного по одной из гравюр. Здание после перестройки превратилось в музей. Император Николай I повелел разместить здесь богатейшую коллекцию оружия, доспехов, восточных чепраков, приказав назвать павильон новым именем Арсенал
В годы войны 1941-1945 гг. зданию Арсенала были нанесены значительные повреждения.