Павильон Эрмитаж сооружён в 1744—1754 годах одновременно со строительством Екатерининского дворца архитекторами А. В. Квасовым и С. И. Чевакинским, окончательное оформление принадлежит Ф.-Б. Растрелли.
Павильон служил для увеселительных собраний узкого избранного кружка придворных.
В годы ВОВ здание было сильно повреждено. В 1953-1954 гг. частично реставрирован фасад и сделан проект воссоздания скульптурного убранства кровли.
В ходе реставрационных работ 2005–2006 гг. на основе планов, составленных В. И. Нееловым, материалов археологических исследований и гравюры по рис. М. И. Махаева был восстановлен канал вокруг Эрмитажа.
Объект культурного наследия народов РФ федерального значения. Рег. № 781610388740776 (ЕГРОКН).