Njegov vzpon v kraljestvu se je začel s katastrofalnim porazom njegovega starejšega brata Archibalda Douglasa, 4. grofa Douglasa, na
Bitka pri Homildon Hillu septembra 1402, kjer so ga ujeli Angleži. James je bil zdaj vloga vodje glavne veje močne družine Douglas in je bil prepusten, da ohrani svoj vpliv v južni Škotski. Njegovi uspehi v tem pogledu so ohranjali Douglasov vpliv do vrnitve njegovega starejšega brata iz ujetništva leta 1409, ko je prevzel vlogo svetnika in bil nagrajen z dodelitvijo obsežnih posestv. Najpomembnejša je bila trdnjava grad Abercorn, ki je postal njegova glavna rezidenca do konca življenja.