Aşkenaz Yahudilerinin daha 1831’de Büyük Hendek Caddesi üzerinde sinagog olarak kullanmaya başladıkları ev 1866’da yanınca, o döneme göre daha aristokrat eğilimli Avusturya kökenli Aşkenazlar bugünkü sinagogun bulunduğu yerde ahşap bir sinagog inşa etmişlerdi: “Österreichsicher Tempel”.
Sinagog Paraları’nın tetkikinde 19. yüzyılın son çeyreğinde, iki değişik Aşkenaz Sinagogu adına basılmış “para-pul” a rastlamaktayız: Birinde Kehilot İsrael Aşkenazim yazarken diğerinde Temple Germano Israélite ibaresi okunmaktadır.
1881, 1883, 1885, 1889-1990 ve 1896-1997 yılı Annuaire Oriental ciltlerinin ve eski sinagog paralarının tetkikinde bir ikilemle karşılaşılmakta, biri Yüksekkaldırım numara 3’te, diğeri aynı yerde numara 5’te yerleşik Alman-Yahudi ritinde ancak ayrı yönetimlerde 2 ayrı sinagogun mevcudiyeti görülmektedir. .
II. Abdülhamid’in 1900 tarihli fermanı ile bu iki ahşap binanın yerine yeni bir sinagog izni sağlanınca, çıkarılan tahviller ve Avusturya’da yaşayan dindaşların maddi katkısı ile inşaata başlandı.
Venedikli ünlü Mimar G. J. Cornaro‘nun eserlerinden biri olan ve Avrupa stili görkemli dış cephesi ile değişik bir görünüm sergileyen bu sinagog 17 Eylül 1900 Pazartesi sabahı törenle açıldı.
Kendine özgü, abanoz tahtasından el işi Aron ha Kodeş (Tevrat rulolarının saklandığı dolap) ve Bima’sı, (Aşkenaz ritüelinde dua okuma kürsüsü) Carl Carlman tarafından, yitirdiği eşi Rachel Carlman anısına 1904’de ünlü usta Fogelstein’a yaptırılmıştır.
Bu sinagogda mevcut iki adet azara (kadınlar galerisi) geleneksel şekilde dairevi olmakla beraber yalnızca ön cephelerinde oturma yerleri öngörülmüştür.
