Загородная усадьба канцлера Алексея Бестужева-Рюмина, построенная рядом с лефортовской резиденцией императрицы Елизаветы Петровны. Усадьба имела сложную п-образную структуру с возвышающейся центральной частью. В 1758 г. владелец попал в опалу и был сослан, незавершённый отделкой дворец в 1767 г. пожалован Алексею Орлову, но тем никак не использовался и ветшал.
В 1778 г. его планировали разобрать на материалы для возведения царских покоев в Кремле, дом выкупило ведомство строительства Екатерининского дворца, но задумка не была воплощёна в жизнь, и в 1787 г. императрица Екатерина II даровала усадьбу канцлеру Александру Безбородко. По распоряжению последнего здание было разобрано до фундаментов для постройки на его месте нового дворца.
Новое здание возведено в духе классицизма архитекторами Джакомо Кваренги и Матвеем Казаковым с использованием фундаментов и части конструкций дворца Бестужева-Рюмина. Приобретено в 1797 г. императором Павлом I. В правление Павла I бывшую усадьбу Безбородко перестроили и она стала называться Слободским дворцом в честь Немецкой слободы, на территории которой располагалась. Для реконструкции здания пригласили Матвея Казакова, переоборудовавшего строение под московскую резиденцию императора. Работы велись круглосуточно, на них было задействовано 1600 человек.
Здание выгорело во время пожара 1812 г. и было частично разрушено. До передачи в ведомство Воспитательного дома полностью восстановлено не было.
Ведомство Воспитательного дома под патронажем императрицы Марии Фёдоровны устроило в здании ремесленную школу для мальчиков-сирот; по проекту Доменико Жилярди и Афанасия Григорьева полуразрушенное здание было разобрано практически до фундаментов и отстроено заново в духе ампира в 1827—1833 гг. Была сохранена планировка и этажность Слободского дворца, но добавлены вынесенные боковые корпуса. По красной линии владения расположилась ограда с белокаменными пилонами, украшенными скульптурами лежащих львов.
К 1868 году академию переименовали в Императорское московское техническое училище. Оно занималось подготовкой механиков и инженеров-строителей.
1917 г. — Московское высшее техническое училище;
1930 г. — Московский механико-машиностроительный институт им. Н. Э. Баумана;
1943 г. — Московское высшее техническое училище им. Н. Э. Баумана;
1989 г. — МГТУ им. Н. Э. Баумана (нынешнее наименование).
Объект культурного наследия народов РФ федерального значения. Рег. № 771410284380006 (ЕГРОКН).