Fuldfør følgende sætning: James, nu den ukoronerede skotske konge, begyndte sin 18 år lange periode som gidsel, mens Albany på samme tid skiftede stilling fra løjtnant til guvernør. Albany tog Jakobs landområder under egen kontrol, hvorved han berøvede kongen indkomst og enhver af hans position og blev i optegnelserne omtalt som 'den afdøde konges søn'. Kongen havde et lille hus af skotter, der omfattede Henry Sinclair, jarl af Orkney, Alexander Seaton, nevø af Sir David Fleming, og Orkney bror John Sinclair efter jarlens tilbagevenden til Skotland. Med tiden ændrede Jakobs husstand - nu betalt af englænderne - sig fra højtstående personer til mindre bemærkelsesværdige mænd. Henrik 4. behandlede den unge Jakob godt og gav ham en god uddannelse. Jakob var ideelt placeret til at observere Henriks metoder til kongedømme og politisk kontrol, da han sandsynligvis var blevet optaget i det kongelige hushold, da han nåede voksenalderen. Jakob brugte personlige besøg fra sine adelsmænd kombineret med breve til enkeltpersoner for at bevare sin synlighed i sit kongerige. Henrik døde i 1413, og hans søn, Henrik 5., satte straks en stopper for Jakobs relative frihed, idet han i første omgang blev holdt i Tower of London sammen med de andre skotske fanger. En af disse fanger var James fætter, Murdoch Stewart, Albany søn, der var blevet fanget i 1402 på
Slaget ved Homildon Hill. I begyndelsen blev de holdt adskilt, men fra 1413 indtil Murdochs løsladelse i 1415 var de sammen i Tower og på Windsor Castle.