Skriv en fortsættelse til dette afsnit - Paladset blev oprindeligt bygget af Muhammad I, Umayyad Emir af Cordoba, mellem 860 og 880. Efter at maurerne var blevet drevet ud af Toledo i det 11. århundrede, beholdt slottet sin forsvarende funktion. Henrik 3. af Castilien tilføjede flere tårne. Hans søn Johannes 2. brugte det som kongelig residens. Under den kastiljanske arvefølgekrig
(1476) blev Joanna la Beltranejas tropper belejret i Alcázar, hvorunder bygningen blev alvorligt beskadiget.