Fortet blev igen jævnet med jorden af vandalerne under vandalernes invasion af Nordafrika, og bygningen blev først rejst igen af byzantinerne efter den vandalske krig.
, da den byzantinske kejser Justinian I beordrede grev Paulos til at genopbygge slottet.