Самая большая синагога в комплексе старинных сефардских синагог названа в честь Йоханана Бен Закая. Она была построена в начале XVII века вблизи от уже действовавшей синагоги, носящей имя пророка Элияху (Ильи). Своё название синагога получила только в 1893 г.: по местному преданию, на этом месте находилась школа, в которой преподавал этот знаменитый законоучитель; а по другой местной традиции, здесь в последний раз он молился перед тем, как навсегда покинул осаждённый Иерусалим перед разрушением Второго Храма.
Первоначально здание этой синагоги имело деревянную крышу на столбах. В 1835 г. стены здания были укреплены и столбы удалены. Между стенами возвели крестовые своды. Удлинённая форма этой синагоги и двойной «арон ха-кодеш», напоминающие синагогу Рамбана, привели некоторых исследователей к выводу, что при её постройке, более древняя синагога была взята за образец, и то, что в одной из них было оправдано функционально планом синагоги, в другой стало всего-навсего копированием.
Каждый «арон ха-кодеш» выполнен здесь как готическое окно; между ними находится скульптурное изображение скрижалей Завета, которое раньше украшало синагогу в итальянском городе Ливорно, а над ними живописная картина, выполненная художником по имени Жан Давид.
В верхнем окне на южной стороне синагоги можно видеть шофар и кувшин для масла. До Войны за независимость здесь лежали древние шофар и кувшин, а после реставрации синагог их заменили новыми. По местной легенде, эти предметы когда-то находились в Храме, они предназначены для помазания Мессии и возвещения о его приходе, когда он наконец объявится.
В этой синагоге проводились различные церемонии общины, в том числе обряд посвящения в должность главного раввина сефардской общины («Ришон ле-Цион»). Здесь молились наиболее состоятельные члены общины, и сегодня в ней молятся члены сефардской общины Еврейского квартала, о чём свидетельствует и расположение мест для молящихся в ней вокруг места для чтения Торы, находящегося в центре зала.
