Fra begyndelsen af det 14. århundrede var Melbourne Castle hovedsagelig i besiddelse af greverne og hertugerne af Lancaster eller kronen. Der blev foretaget forbedringer og reparationer, især af John af Gaunt, og bygningen var generelt i god stand i hele det femtende og tidlige sekstende århundrede. John I, hertug af Bourbon, blev holdt i Melbourne i 19 år efter sin fangenskab i slaget ved Agincourt i 1415, og slottet blev betragtet som et muligt fængsel for Mary, dronning af Skotland, selv om begivenheder førte til hendes fængsling andre steder.
Melbournes slot