Skriv en fortsættelse til dette afsnit - James, nu den ukoronerede konge af Skotland, begyndte hvad der viste sig at være hans 18 års periode som gidsel, mens på samme tid Albany skiftede fra sin stilling som løjtnant til guvernør. Albany tog Jakobs landområder under egen kontrol, hvorved han berøvede kongen indkomst og enhver af hans position og blev i optegnelserne omtalt som 'den afdøde konges søn'. Kongen havde et lille hus af skotter, der omfattede Henry Sinclair, jarl af Orkney, Alexander Seaton, nevø af Sir David Fleming, og Orkney bror John Sinclair efter jarlens tilbagevenden til Skotland. Med tiden ændrede Jakobs husstand - nu betalt af englænderne - sig fra højtstående personer til mindre bemærkelsesværdige mænd. Henrik 4. behandlede den unge Jakob godt og gav ham en god uddannelse. Jakob var ideelt placeret til at observere Henriks metoder til kongedømme og politisk kontrol, da han sandsynligvis var blevet optaget i det kongelige hushold, da han nåede voksenalderen. Jakob brugte personlige besøg fra sine adelsmænd kombineret med breve til enkeltpersoner for at bevare sin synlighed i sit kongerige. Henrik døde i 1413, og hans søn, Henrik 5., satte straks en stopper for Jakobs relative frihed, idet han i første omgang blev holdt i Tower of London sammen med de andre skotske fanger. En af disse fanger var James' fætter, Murdoch Stewart, Albany's søn, som var blevet taget til fange i 1402 ved slaget ved Homildon Hill
- Hvad? I begyndelsen blev de holdt adskilt, men fra 1413 indtil Murdochs løsladelse i 1415 var de sammen i Tower og på Windsor Castle.