S svojim bratom Davidom se je James leta 1861 pridružil ameriški vojski in se pridružil kompaniji F 16. prostovoljnega pešskega polka Wisconsina, ko je izbruhnila ameriška državljanska vojna. Sodeloval je v bitki pri Pittsburg Landingu.
Odpuščen je bil leta 1862.