Строительство каменного храма на месте деревянного началось в 1705 г. под руководством архитектора Ивана Зарудного (Заруднева) по чертежам Петра I.
31 августа 1708 г. святили престол Петра и Павла, который тогда располагался в нижней церкви. В 1714 г. начали возводить верхний храм, но работы были прекращены из-за запрета на каменное строительство в Москве. Закончить строительство храма удалось только к 1723 г. под руководством архитектора Ивана Мичурина. Колокольню начали строить в 1745 г. под руководством Карла Бланка и закончили в 1746 г.
В 1922 г. церковь захватывают обновленцы. В 1931 г., после сноса храма Христа Спасителя, Петропавловский храм становится кафедральным Первоиерарха православных церквей в СССР митрополита Виталия (Введенского). Здесь же работал обновленческий Священный Синод и размещалась Московская Богословская академия. Окончательно церковь закрывают в 1934 г. и размещают в ней склад.
В 1960 г. прошла реставрация, при этом несколько нарушили первоначальный вид сооружения, установив завершение и шпиль колокольни в «голландском стиле». С 1970 г. здание отдают в пользование ВНИИГеофизика, который разбил помещение на несколько дополнительных этажей. К 1990 году здание настолько обветшало, что пришлось провести косметический ремонт.
В 1992 возвращено Русской православной церкви, малое освящение состоялось в 1994 г.
Объект культурного наследия народов РФ федерального значения. Рег. № 771410415880006 (ЕГРОКН).