Павильон возник в результате перестройки в 1826 г. петровского грота, находившегося на этом месте.
К. И. Росси сохранил стены Грота, пострадавшего во время наводнения 1777 г., но уничтожил купол над средней частью и пышный барочный декор фасадов.
Скульптурные маски на пилонах, гирлянды и венки на аттике, лепной фриз выполнены скульптором В. И. Демут-Малиновским.
Стены зала завершены фризом с растительным орнаментом и гладким карнизом.

В Кофейном домике итальянец Пияцци открыл кондитерскую, которая просуществовала 30 лет.
В 1925 г. во время ремонтных работ под Кофейным домиком были обнаружены подземные тоннели.