Разрешение от императора Александра II на устройство большой постоянной синагоги было получено в 1869 г. При выборе места для нее необходимо было учитывать требование, чтобы в 50 саженях (200 м) от синагоги не была расположена церковь, даже домовая. Только в 1879 г. администрация одобрила выбранное место на Большой Мастерской ул. (ныне Лермонтовский пр.).
Инициатором строительства была еврейская община Петербурга (в середине XIX в. она насчитывала около 10 тысяч человек). Основную часть средств на строительство пожертвовали семьи барона Гинцбурга (первого председателя еврейской общины города) и Полякова, известного мецената. Венчальный зал Синагоги носит название Александровского.
Проектировали сразу две синагоги — большую и малую. Проект разработал профессор Академии художеств И. И. Шапошников. Интерьерами занимался художник Л. И. Бахман. Заканчивал строительсво архитектор А. В. Малов. Ажурная решетка вокруг здания сделана по проекту Я. Г. Гевирца.
В 1886 г. была открыта хоральная молельня во дворе синагоги (так называемая малая синагога), а в 1893 г. — большая синагога.