Первые одноэтажные каменные строения на этом участке появились в 1790-х гг.
В начале XIX века их занимал водочный (винокуренный — прим.) завод, принадлежавший известному ученому, горному инженеру Андрею Фёдоровичу Дерябину.
В 1825 г. строения были переданы Морскому ведомству, которое в 1826-1828 гг. перестроило их под "казармы морских служителей" — нижних чинов флота.
В 1906 г. "старые" Дерябинские казармы были переданы Тюремному ведомству под временную тюрьму.
В 1912 г. здание возвращено Морскому ведомству и продолжало использоваться для размещения личного состава флотских и армейских частей.
В начале 1930-х гг. казарма была надстроена на 1 этаж, ставший 4-м (включая цокольный).
В конце 1980-х гг. Главное командование ВМФ приняло решение о перемещении в это здание Центральной военно-морской библиотеки, располагавшейся в Инженерном замке на Фонтанке. В 2010-е гг. был произведён капитальный ремонт и реставрация здания, и библиотека туда перебазировалась в 2018 г., где и находится в настоящее время.