Skriv en fortsættelse til dette afsnit - Baldwin blev født i Dutchess County, New York, og voksede op på familiens gård der. Han gik på gymnasiet i Red Creek, New York, og senere underviste i både Rhode Island og Connecticut. Den 13. april 1861 sluttede han sig til Unionshæren sammen med sine fire brødre, hvoraf en ville blive dræbt i aktion ved Slaget ved Resaca
- Hvad? Han blev oprindeligt valgt som kaptajn for kompagni C, 36. regiment, Illinois Volunteer Infantry. Regimentet blev sendt til Missouri, og i februar 1862 blev han udnævnt til kvartemester. I august samme år blev han forfremmet til oberstløjtnant over 8. regiment Missouri Volunteer Cavalry.