Выстроен 3-этажным как дом для обер-прокурора П. В. Неклюдова.
В 1811 г. дом приобретает обер-прокурор Синода, министр духовных дел и народного просвещения князь А. Н. Голицын. Новый хозяин перестроил особняк, заново отделал внутренние помещения.
В советское время — до начала 1980-х — в здании находилось Центральное конструкторское бюро "Строймаш".

С 2016 года здесь располагаются:
— Голицын-лофт http://golitsynhall.ru/
— ряд ресторанов со входами-выходами во внутренний двор здания
— клуб досуга Цифербург http://ziferburg.ziferblat.net/
и пр.