1890'lerde Haydarpaşa Yahudileri kiralık bir evi, ünlü Haham Menahem Farhi yönetiminde Talmud Tora (Tevrat eğitimi kurumu) ve ibadethane olarak kullanmaktaydılar. Mali sorunları çözmek için davet edilenler davete icabet etmeyince evin kapatılmasından başka seçenek kalmadı. Dağhamamı yerleşme merkezini tamamen yok eden büyük yangını izleyen göçlerle Haydarpaşa Yahudi nüfusu daha da artınca yeni ve geniş bir ibadethane gereksinmesi kaçınılmaz oldu. 14 Ocak 1896 tarihli İradeye dayanılarak Aziziye Caddesindeki arsa üzerine sinavinin ve haham ikametine mahsus yedi zira irtifaında... binanın inşa edilmesine başlandı. Bu arada, yöre Rumlarının sinagog inşa ettirmemek için kanlı kavgalara kadar giden engellemelere giriştiklerini şahsi göz doktoru Elias Paşa’dan öğrenen Sultan II. Abdülhamid, Selimiye kışlasından bir askeri birlik göndererek olay çıkaranları sindirterek sinagog inşaatını korumasına aldı.
Planları Avusturyalı bir mimar tarafından çizilen sinagog, Barones Clara de Hirsch’in cömertçe yardımına rağmen ancak bağış toplanarak tamamlandı ve 3 Eylül 1899 gününe isabet eden Roş Aşana bayramı arifesinde hizmete girdi. Sinagoga, İsrailoğullarının Şefkati anlamına gelen Hemdat İsrael adı verilerek, aynı zamanda, kendilerine destek olan Abdülhamid’e minnet hisleri de ifade edilmek istendi.
Sinagogun İzzettin Sokağa bakan ana giriş kapısının üzerindeki kitabedeki yazı ve çevirisi şöyledir:
Ki Beti Bet Tefila, Yikare Lehol Aamim / Benim evim dua evidir, bütün milletlere açıktır.
Pithu Li Şaare Tsedek / Bana doğruluk kapısını açınız
Avo Vam Ode Ya / Oraya geleyim ve Tanrıya şükredeyim
Nigmor Abayit Be Sof Hodeş Rahamim. 5659 / Ev Ellul ayının sonunda tamamlandı. 5659
Klasik Sefarad stilinde düzenlemiş sinagogda iki giriş kapısı kuzey-güney uzun ekseni üzerinde bulunmaktadır. Ehal (Tevrat rulolarının saklandığı dolap) ve Teva,(dua okuma kürsüsü) dikdörtgen salonun doğu-batı ekseninde karşılıklı olarak yerleştirilmiş, sıralar sol ve sağda konumlandırılmıştır. Sinagog girişinin solundaki merdivenden çıkılan azara (sinagoglarda kadınlar bölümü) geniş bir balkon şeklindedir. Kurulduğunda, sinagogun altında bir rehitsa (ölü yıkama yeri) de ön görülmüştü.