Roma İmparatoru Augustus’un (M.Ö. 63-M.S.14) Ankara’da kendi adına inşa edilen tapınakta bir bronz sütun üzerine, İmparatorluğun Yahudilerine tanınan haklarla ilgili bir fermanı yazdırdığı bilinmektedir.
15. yüzyılda İspanya’dan ve Portekiz’den gelen Sefarad Yahudileri ise kendi geleneklerine göre ayrı ayrı iki cemaat kurmuştur. 1510 yılında ortaya çıkan bir dini ihtilafın halli için müracaat edilen İstanbul Hahambaşısı Elia Mizrahi’nin kararı sonucu Portekizliler, sayıca az oldukları gibi Portekizceyi de unuttuklarından, İspanyol Yahudileriyle karışmış ve sinagoglarını kapatmıştır. Ankara’da böylece, biri yerli diğeri İspanyol, iki sinagog kalmıştır.
Samanpazarı semtinde, eski adıyla 'Yahudi Mahallesi', günümüzde ise 'Sakalar' olarak anılan mahallede Birlik Sokak’ta bulunan sinagog, yüksek duvarlarla çevrilmiş bir avlunun ortasında kesme taş bloklardan inşa edilmiştir. İlk yapım tarihi tam olarak bilinmeyen sinagog muhtemelen tüm mahalleyi yok eden bir yangın sonunda harap olmuş, 1834’de "sinagogun eski yeri üzerinde tekrar inşa edilmesine icazet" verilmiş, 1843 yılında kısmi bir tamirat görmüş, 1907’de İtalyan mimarlar tarafından restore edilmiş, 1997 yılında da esaslı bir tadilat ve revizyon görmüştür. Sinagog, Ankara Musevi İbadethanesi Vakfı tarafından yönetilmektedir.