Aşkenaz cemaatinin, 1907 yılında Arnavutköy sırtlarında (günümüzde Ulus, Adnan Saygun Caddesi) Avusturyalı Frederc Husserl'den satın aldıkları arazide 21 Şevval 1339 (27 Haziran 1921) tarihli bir İrade-i Seniyye ile, "Osmanlı usul ve kanunlarına uymak, etrafına iki metre yüksekliğinde betonarme duvar ile çevirmek, güney tarafındaki dereye yakın yerlere katiyen defin yapmamak kaydıyla defin yapılmasına ve iki oda, yedi pencere ve bir kapısı olan bir gasil hane inşasına, ruhsat verildi.

Mezarlığın giriş kısmında, Eylül 1986 ve Kasım 2003 tarihli terörist saldırılarında, Neve Şalom ve Şişli Bet İsrael Sinagoglarında yaşamlarını yitirmiş dindaşların gömülü oldukları bir anıt mezarlık bulunmaktadır.

Günümüzde Sefarad-Aşkenaz ayırımı gözetilmemekte, tüm gömü işlevleri Neve Şalom Sinagogu Vakfı tarafından dini akidelere uyularak, yürürlükteki kanun ve nizamlara göre yapılmaktadır.