Здание, известное как Пашков дом, было построено в 1784—1786 гг. по заказу капитан-поручика лейб-гвардии Семеновского полка Петра Егоровича Пашкова. Проект здания приписывают архитектору Василию Ивановичу Баженову, что на сегодняшний день документально не доказано. Считается одним из самых красивых зданий Москвы.
В 1812 г. выгорело при пожаре.
В 1839 г. дом был приобретен у наследников Пашкова казной для Московского Университета.
В 1843 г. здесь разместился Московский дворянский институт, преобразованный из Университетского Благородного пансиона, позже институт был преобразован в 4-ю городскую гимназию (с 1852 г.).
В 1861 г. здание было передано для хранения коллекций и библиотеки Румянцевского музея.
В 1921 г., в связи с поступлением в музей после революции более четырёхсот брошенных, бесхозяйных и национализированных книжных коллекций, все отделы музея были выведены из Пашкова дома. В нём осталась только библиотека музея, переименованная и преобразованная в Государственную библиотеку СССР им. В. И. Ленина, здание было отведено под отдел редких рукописей. В настоящее время Пашков дом входит в комплекс зданий библиотеки, но много лет не использовался, так как там постоянно производился ремонт, который начался в 1988 г. и закончился в 2007 г.
В данный момент в правом флигеле Пашкова дома расположен отдел рукописей, в левом — нотно-музыкальный отдел и отдел картографических изданий, открывшиеся для читателей в апреле 2009 г.
Объект культурного наследия России федерального значения, рег. № 771420967610006 (ЕГРОКН).