Ketika Perang Saudara dimulai pada tahun 1861, Smith melayani sebagai aide de camp untuk Gubernur Illinois Richard Yates. Pada tanggal 26 Desember 1861, ia ditunjuk sebagai kolonel dari 45th Illinois Volunteer Infantry Regiment, dengan pangkat mundur tanggal 23 Juli 1861 untuk menggantikan Kolonel sebelumnya yang mengundurkan diri dari Komisi negara bagian ketika resimen memasuki layanan Federal. Dia memimpin resminya di pertempuran Fort Henry, Fort Donelson dan Shiloh. Pada tanggal 29 November 1862 ia dipromosikan menjadi brigadir jenderal Relawan AS. Dia sebentar memerintahkan brigade sebelum mengambil komando Divisi ke-8, Korps XVI. Ketika Ulysses S. Grant memulai kampanye terakhirnya melawan Vicksburg, Smith ditempatkan sebagai komandan Brigade 1, Divisi 3, Korps XVII. Dia bertempur di pertempuran Port Gibson
, Raymond, Juara Hill dan dalam serangan pada Vicksburg. Pada bulan Juni 1863, di tengah pengepungan Vicksburg, Smith dipilih untuk menggantikan Jenderal Isaac F. Quinby sebagai komandan Divisi ke-7, Korps XVII setelah Quinby jatuh sakit dan mengambil cuti. Pada bulan September, 1863 Smith dipindahkan untuk memimpin Divisi ke-2, XVII Korps dan divisinya dikirim dengan William T. Sherman untuk membantu dalam bantuan Chattanooga. Selama pertempuran Missionary Ridge, Smith mengambil bagian dalam serangan terhadap sayap kanan Konfederasi di Tunnel Hill.