Hardee trak sig tilbage fra sin kommision i den amerikanske hær den 31. januar 1861, efter at hans hjemstat Georgia havde løsrevet sig fra Unionen. Han sluttede sig til den konfødererede amerikanske hær som oberst den 7. marts og fik kommandoen over Fort Morgan og Gaines i Alabama. Han blev efterfølgende forfremmet til brigadegeneral (17. juni) og generalmajor (7. oktober). Den 10. oktober 1862 var han en af de første konfødererede generalløjtnant. Hans første opgave som general var at organisere en brigade af Arkansas regimenter, og han imponerede sine mænd og kolleger officerer ved at løse vanskelige forsyningsproblemer og for den grundige træning, han gav sin brigade. Han modtog sit kælenavn, "Old Reliable", mens han var i denne kommando. Hardee opererede i Arkansas, indtil han blev kaldt til at slutte sig til general Albert Sidney Johnstons Army of Central Kentucky som korpschef. Johnston ville trække sig tilbage fra Kentucky og Tennessee, ind i Mississippi, før han lancerede et overraskelsesangreb i Slaget ved Shiloh
I foråret 1862. Hardee blev såret i armen den 6. april 1862 under den første dag i slaget. Johnston blev dræbt ved Shiloh, og Hardees korps sluttede sig til general Braxton Bragg's Army of Tennessee før belejringen af Corinth, Mississippi, indtil afdelingens kommandør P.G.T. Beauregard evakuerede byen og trak sig tilbage til Tupelo. Beauregard blev erstattet af Bragg, som efterfølgende flyttede sin hær til Chattanooga, før han gik i gang med sin konfødererede Heartland Offensive ind i Kentucky. Kampagnen sluttede med slaget ved Perryville i oktober 1862, hvor Hardee kommanderede venstrefløjen i Braggs hær.