Skriv en fortsættelse til dette afsnit - Slottets oprindelse kan være så gammel som den fønikiske grundlæggelse af Oea i det 7. århundrede f.Kr. Udgravninger har fundet rester, der dateres tilbage til romertiden. Ligesom det omkringliggende område blev det overtaget af vandalernes kongerige omkring 439, genvundet
Det blev erobret af det romerske imperium i 534, overtaget af Amr ibn al-As i 642 eller 643, generobret af byzantinerne og derefter igen af Umayyad-kalifatet i slutningen af det 7. århundrede; derefter under herredømmet af Abbasid-kalifaterne (750-800), Aghlabid-emiratet af Ifriqiya (800-909), Fatimid-kalifatet (10. århundrede), der renoverede det til en kongelig bopæl, Zirid-emiratet af Ifriqiya og Banu Khazrun (11. århundrede-1146), det normanniske kongerige i Afrika (1146-58), Almohad-kalifatet (1158-1229), Hafsid-emiratet af Ifriqiya (1234-1321), Ammar Beni (1321-1401) og igen Hafsid-emiratet (1401-1510, med et andet mellemrum i midten af det 15. århundrede).