James Conner deltog i bombardementet af Fort Sumter som kaptajn i Montgomery Guards, en militsenhed i South Carolina. I begyndelsen af borgerkrigen, afviste han en udnævnelse som distriktsadvokat for Konføderationen. I stedet blev han kaptajn i Hampton Legion og kæmpede i slaget ved First Bull Run (First Manassas), hvor han tog midlertidig kommando over legionen efter at oberst Wade Hampton blev såret. Den 21. juli 1861 blev Conner udnævnt til major i Hamptons Legion. Efter den
Under slaget ved Seven Pines under Peninsula-kampagnen overtog han kommandoen over det 22. North Carolina Volunteer Infantry Regiment. Under Syv Dagers Slaget blev hans ben brækket af en riffelkugle under Slaget ved Gaines Mill. Efter en to måneders genopretningsperiode vendte han tilbage for at lede sit regiment i slaget ved Chancellorsville og slaget ved Gettysburg.