Здание «Дом Крылова» построено для проживания сотрудников в 1799–1803 гг. по проекту архитектора Луиджи Руска (1762–1822). В XIX в. помещения первого этажа арендовали книготорговцы: книгоиздательство А. А. Каспари, редакция журнала для семейного чтения «Родина» и магазины: тканей – «Северный торговый дом Эдуарда Дихтера», фототоваров и др.
На двух верхних этажах располагались квартиры для сотрудников, в которых в разное время жили баснописец И. А. Крылов, библиограф В. С. Сопиков, дипломат А. А. Бюте, казначей С. В. Василевский.
В настоящее время здесь располагаются книжный салон, информационно-сервисный центр, гостиничные номера Библиотеки, зал заседаний, а также служебные помещения.