Ko se je leta 1861 začela državljanska vojna, je Smith služil kot pomočnik guvernerja Illinoisa Richarda Yatesa. 26. decembra 1861 je bil imenovan za polkovnika 45. prostovoljnega pešskega polka v Illinoisu, s činom, ki je bil izdan 23. julija 1861, da bi nadomestil prejšnjega polkovnika, ki je odstopil od svoje državne komisije, ko je polk vstopil v zvezno službo. Vodil je svoj polk v bitkah za Fort Henry, Fort Donelson in Shiloh. 29. novembra 1862 je bil povišan v brigadni general prostovoljcev ZDA. Kratko je poveljeval brigadi, preden je prevzel poveljstvo 8. divizije, XVI korpusa. Ko je Ulysses S. Grant začel svoj zadnji pohod proti Vicksburgu, je bil Smith postavljen v poveljstvo 1. brigade, 3. divizije, XVII korpusa. Boril se je v bitkah za
Port Gibson, Raymond, Champion Hill in v napadu na Vicksburg. Junija 1863, sredi obleganja Vicksburga, je bil Smith izbran, da nadomesti generala Isaaca F. Quinbyja pri poveljstvu 7. divizije, XVII korpusa, potem ko je Quinby zbolel in vzel dopust. Septembra 1863 je bil Smith premeščen na poveljstvo 2. divizije, XVII korpusa in njegova divizija je bila poslana z Williamom T. Shermanom, da bi pomagala pri reševanju Chattanooge. Med bitko pri Missionary Ridgeju je Smith sodeloval v napadih proti desnemu krilu Konfederacije na Tunnel Hillu.