James se je 13. oktobra 1861, ko je bil star 13 let, vpisal v 16. prostovoljno pešinsko polk Wisconsina ob izbruhu ameriške državljanske vojne. Leta 1864 so ga ujeli in odpeljali v zapor v Andersonvillu. Preživel je Andersonville, in ko je bil zbrani iz 18. julija 1865, je bil z brevet čina kapitana, retroaktivno 3. oktobra 1861, "za vidno pogum, ki ga je pokazala v bitkah v Korintu in Atlanti
"Ne, ne, ne.