Здание примечательно тем, что в нем более 220 лет размещается городская почта. Двухэтажный каменный дом построен около 1779 года аптекарем А.И. Зегером, в 1782 году передан им в казну, по проекту 1784 года под руководством архитектора И.И. Волкова переделан для размещения почты. Почтовый двор состоял из пяти построек. На красной линии улицы стоял главный двухэтажный дом; но углам прямоугольного в плане участка — одноэтажные флигели; два из них были обращены главными фасадами на улицу и соединялись с главным домом кирпичной оградой с двумя воротами.

В 1871-1872 годах главный дом почтовой конторы был перестроен заново. В его нижнем этаже размещались экспедиции, конторы и кладовые, а вверху — квартиры для служащих. В конце 1880-х годов почтовая контора была преобразована в почтово-телеграфную. В 1893 году на усадьбе почтово-телеграфной конторы открыли первую городскую телефонную станцию, реконструированную в 1911-1913 годах. Она размещалась в одном из флигелей, имевшем к тому времени два этажа. В 1913-1914 годах была проведена последняя дореволюционная перестройка комплекса, осуществленная по проекту архитектора Д.Н. Васильева. В 1950-1952 годах при восстановлении после разрушений 1942-1943 годов пять зданий были объединены в одно по проекту архитектора В.В. Савостьянова. Основным корпусом почтамта стали, бывший главный дом почтовой конторы и два флигеля по его сторонам. От дореволюционного времени сохранилась конструктивная основа 1872 года и 1914 года.

Сейчас здание двухэтажное, с тремя протяженными выступами в сторону двора. Главный фасад имеет пятичастное деление, средняя часть и боковые ризалиты, соответствующие бывшим зданиям, выделены пилястрами. Центральный ризалит оформлен трехчетвертными колоннами большого ордера. Арочный портал главного входа расположен в центре фасада и отмечен фронтоном. Стены рустованы.

При реконструкции сохранен без перепланировки центральный двусветный операционный зал почтамта 1914 года с колоннадой и профилированным карнизом по периметру. Уцелело плиточное покрытие пола начала XX века.

В здании расположен Главпочтамт.