Bygningen af slottet blev overladt til Baldwin FitzGilbert, som blev udnævnt til castellan, blandt andre hæder. Der blev bygget en dyb grøft og et indre væg mellem de nordvestlige og nordøstlige bymurer, der dannede en omtrent firkantet indhegning med sider på ca. Dommedagbogen fra 1086 rapporterede, at 48 huse var blevet ødelagt i Exeter, siden kongen kom til England. Dette er blevet fortolket af historikere til at betyde, at så mange huse var på det sted, der blev ryddet for slottet. Et stort stenporthus, som stadig er bevaret, blev bygget ind i bredden på den sydlige side af indhegningen. Det har tydelige elementer af angelsaksisk arkitektur
, såsom lange og korte quoins og dobbelt trekantede vinduer, hvilket tyder på, at det blev bygget meget tidligt af engelske murere på normannernes ordrer. På dette tidlige stadie var væggen sandsynligvis overvundet af en palisade, selv om der snart blev bygget to hjørnetårne, hvor banken mødte bymurene, hvoraf den vestlige (fejlvis kendt som "Athelstans tårn") stadig er til stede.