Når borgerkrigen begyndte i 1861, Smith tjente som aide de camp til Illinois guvernør Richard Yates. Den 26. december 1861 blev han udnævnt til oberst for det 45. Illinois Volunteer Infantry Regiment, med ranget tilbagelagt til den 23. juli 1861 for at erstatte den tidligere oberst, der trådte tilbage fra sin statslige kommission, da regimentet trådte ind i føderal tjeneste. Han førte sit regiment i slagene ved Fort Henry, Fort Donelson og Shiloh. Den 29. november 1862 blev han forfremmet til brigadegeneral i U.S. Volunteers. Han kommanderede kortvarigt en brigade, før han overtog kommandoen over 8. division, XVI korps. Da Ulysses S. Grant begyndte sin sidste kampagne mod Vicksburg, blev Smith placeret i kommandoen over 1. brigade, 3. division, XVII korps. Han kæmpede i slagene i
Port Gibson, Raymond, Champion Hill og i angrebene på Vicksburg. I juni 1863, midt under belejringen af Vicksburg, blev Smith valgt til at erstatte general Isaac F. Quinby i kommandoen over 7. division, XVII korps, efter at Quinby blev syg og tog orlov. I september 1863 blev Smith overført til kommandoen over 2. division, XVII korps, og hans division blev sendt med William T. Sherman for at hjælpe med at lindre Chattanooga. Under slaget ved Missionary Ridge deltog Smith i angrebene mod den konfødererede højre flanke ved Tunnel Hill.