Dengan adiknya David, James masuk Angkatan Darat Amerika Serikat pada tahun 1861, bergabung dengan Perusahaan F dari 16th Wisconsin Volunteer Infantry Regiment, setelah pecahnya Perang Saudara Amerika. Dia berpartisipasi dalam Pertempuran Pittsburg Landing
, dan dibebaskan pada tahun 1862.