Som søn af en kapellan i den amerikanske hær, boede Groves på forskellige militærposter i sin barndom. I 1918 dimitterede han som fjerde i sin klasse på det amerikanske militærakademi i West Point og blev udnævnt til ingeniørkorps i den amerikanske hær. I 1929 tog han til Nicaragua som en del af en ekspedition for at foretage en undersøgelse af den inter-oceanske Nicaragua-kanal. Efter jordskælvet i 1931
, Groves overtog Managuas vandforsyningssystem, hvilket han blev tildelt Nicaraguas præsidentmedalje for fortjeneste. Han deltog i Command and General Staff School i Fort Leavenworth, Kansas, i 1935 og 1936; og Army War College i 1938 og 1939, hvorefter han blev udstationeret til War Department General Staff. Groves udviklede "et ry som en gører, en chauffør og en pligtholder", og i 1940 blev han særlig assistent for byggeri til generalquartermaster, med til opgave at inspicere byggepladser og kontrollere deres fremskridt. I august 1941 blev han udnævnt til at skabe det gigantiske kontorkompleks for krigsministeriets 40.000 medarbejdere, som i sidste ende skulle blive Pentagon.