Hans stigning til dominans i kongeriget begyndte med det katastrofale nederlag over hans ældre bror Archibald Douglas, 4. jarl af Douglas, ved
Slaget ved Homildon Hill i september 1402, hvor han blev taget til fange af englænderne. James var nu fungerende leder af den vigtigste gren af den magtfulde Douglas-familie og blev efterladt til at opretholde deres indflydelse i det sydlige Skotland. Hans succeser i denne henseende bevarede Douglas indflydelse indtil hans ældre bror vendte tilbage fra fangenskab i 1409, hvor han påtog sig rollen som rådmand og blev belønnet med tildeling af omfattende godser. Den vigtigste af disse var fæstningen Abercorn Castle, som skulle blive hans hovedbolig resten af livet.