La Aljama o Judería segureña pudo estar ubicada entre las calles Castillo, Portugalejo, Santa Cruz y Mesones. Su sinagoga se levantó en la actual calle Castillo y contaba con soportal y un gran salón con coro reservado a las mujeres, ya desaparecido.

En esta judería vivió Isaac Abravanel en el año 1483, uno de los hombres más ricos y poderosos de Portugal, que llegó perseguido de muerte por el rey Juan II. Fue ministro de finanzas de Reyes y nobles lusitanos, teólogo y líder de la comunidad judía.  Muchos judíos segureños evitaron la expulsión convirtiéndose al cristianismo, por la que fueron conocidos como conversos, judeoconversos o marranos.

La fachada de la imagen adjunta luce una cartela, que incluimos bajo estas líneas, con la inscripción IN DNO CVI FIDO 1554 (el señor en quien confío 1554). Tal vez perteneció a algún judío converso o simplemente se trata de una inscripción cristiana al uso.