I 1311 fik Robert en tilladelse til at indkrense stenen fra Edward II for at befæste herregården, og den mere beskedne tidligere bygning blev omdannet til et slot mellem 1311 og 1322. Lokal tradition siger, at stenen blev opnået fra et stenbrud på stedet for, hvad der nu er Melbourne Pool. De lokale optegnelser viser, at £ 1.313 blev brugt på projektet i året 1313-14, hvoraf £ 548 blev betalt til murere for at klæde sten. Flere murere, der arbejdede på projektet, var involveret i en affray ved Ravenstone i 1315.
den lokale grundsten, Millstone Grit