Med Latimerjevim drugim letom študija je izbruhnila državljanska vojna in Latimer je zapustil VMI, da bi služil južnjaki. Najprej je bil kadet za Richmond Hampden Artillery spomladi in poleti 1861. V jeseni je bil imenovan za prvega poročnika in se je boril z divizijo generalmajorja Richarda S. Ewella v kampanji Shenandoah Valley leta 1862. Po tem, ko se je razlikoval s svojo baterijo v bitkah, kot je prva Winchester
Latimer je dobil poveljstvo nad bataljonom, ki je prej pripadal A. R. Courtneyju. Po poveljevanju bataljonu v Fredericksburgu decembra 1862 je bil leta 1863 povišan v majorja. Ewell ga je imenoval "mladi Napoleon", njegovi sodobniki pa so njegovo mladost in majhen, lahek rast označevali z imenom "Boy Major". Postal je častnik v bataljonu majorja Richarda Snowdena Andrewsa v diviziji majorja generala Edwarda "Alleghenyja" Johnsona.