La leyenda dice que en tiempo de Moisés (1392 a. C.) durante el reinado de Meneptah (XIX dinastía), los judíos vivían en la zona en la que está actualmente la sinagoga y donde Moisés solía predicar.
En el reinado del rey babilónico Nabucodonosor (606-538 a. C.), los judíos volvieron a Egipto con su profeta Jeremías y edificaron una sinagoga en el mismo lugar dónde habían vivido los judíos en tiempo de Moisés. Dentro de la sinagoga se construyó un lugar especial para la Torah incompleta de Moisés.
Otra prueba de la existencia de un barrio judío en esta zona es que cuando huyó la Sagrada Familia a Egipto, vino a refugiarse aquí, donde podía sentirse más protegida. Entre su propio pueblo.
En el año 30 a. C. los romanos invadieron Egipto y destrozaron la sinagoga del profeta Jeremías. Pero en el año 641 d. C. Amr Ibn El-Ass devolvió todas las propiedades a su legítimos dueños judíos.
Los cristianos coptos reclamaron las tierras donde había estado la sinagoga como lugar santo del nuevo testamento al haber vivido en él el profeta Jeremías. Su presión fue siendo cada vez mayor hasta que se les cedió estas tierras en las que construyeron la iglesia de San Miguel.
En 1115, el Rabino Abraham Ben Ezra vino a Egipto desde Jerusalén y pidió que el lugar fuera devuelto a los judíos. El Patriarca copto Alexander exigió a cambio que se pagara el impuesto de 20.000 dinares de oro, que era el que tenían que pagar los coptos anualmente.
Después del regateo se llegó a un acuerdo y la zona de la sinagoga volvió a los judíos.
Ben Ezra reconstruyó la sinagoga y por eso actualmente lleva su nombre.
En 1894 se encontró la cámara secreta donde estaba la vieja Torah y unos 250.000 documentos de varias fechas. También se encontraron restos de otra sinagoga en lo que es actualmente el cementerio copto de Santa Bárbara.
En 1980 se restauró, así que actualmente está perfecta.
