Med udbruddet af borgerkrigen gik Miller ind i Unionshæren. Den 27. august 1861 udnævnte guvernør Oliver P. Morton Miller til oberst i den 29. Indiana Infantry. Efter træning blev regimentet tildelt Kirk's Brigade i Alexander M. McCooks division i Buells Army of the Ohio og marcherede til Tennessee. Miller deltog i kamp på den anden dag af slaget ved Shiloh
, samt under den efterfølgende belejring af Korinth. Miller førte sit regiment gennem det nordlige Alabama og Tennessee og forfulgte Braxton Bragg gennem Kentucky. Miller kommanderede en brigade under James Negley under slaget ved Stones River i slutningen af december 1862. På kampens anden dag førte Miller det føderale modangreb over Stones River, som slog John C. Breckinridges konfødererede angreb tilbage. Under dette angreb blev Miller såret i halsen.