Первоначальный проект здания был аналогичен проекту Большого Гостиного двора на Невском проспекте. Все три фасада здания были выполнены в виде открытой аркады двух этажей. В 1860 году здание было частично перестроено по проекту , в 1879-1880 годах была выполнена перестройка по проекту Г. А. Львовича.
Здание использовалось по назначению до 1917 г. После революции здесь находился учебный комбинат КОГИЗ, выпускавший специалистов книжной торговли, позже — Библиотечный техникум. После войны в здании разместились городская художественная школа и художественно-производственные мастерские Театра драмы и комедии.
В 1997 г. здание Малого гостиного двора было сдано в аренду Петербургскому агентству недвижимости. Планировалась реконструкция здания для размещения в нём гостиничного комплекса, но проект не был реализован. С 2010 г. здание принадлежит дочерней организации ПАН — ООО «Мойка, 22».