Tuliskan kelanjutan untuk paragraf ini - Asal-usul kastil mungkin sama tua dengan pendirian Fenisia di Oea pada abad ke-7 SM; penggalian telah menemukan sisa-sisa yang berasal dari zaman Romawi. Seperti wilayah sekitarnya, itu diambil alih oleh Kerajaan Vandal sekitar 439, pulih
oleh Kekaisaran Romawi pada tahun 534, dikalahkan oleh Amr ibn al-As pada tahun 642 atau 643, ditaklukkan kembali oleh Bizantium kemudian lagi oleh Khilafah Umayyah pada akhir abad ke-7; kemudian di bawah pemerintahan Khilafah Abbasiyah (750-800), Emirat Aghlabid Ifriqiya (800-909), Khilafah Fatimid (abad ke-10) yang merenovasi menjadi kediaman kerajaan, Emirat Zirid Ifriqiya dan Banu Khazrun (abad ke-11-1146), Kerajaan Norman Afrika (1146-58), Khilafah Almohad (1158-1229), Emirat Hafsid Ifriqiya (1234-1321), Ammar Beni (1321-1401) dan lagi Emirat Hafsid (1401-1510, dengan jeda lain pada pertengahan abad ke-15).