Baldwin se je rodil v okrožju Dutchess v New Yorku in tam odraščal na družinski kmetiji. Šel je v srednjo šolo v Red Creeku v New Yorku, kasneje pa je učil na Rhode Islandu in v Connecticutu. 13. aprila 1861 se je pridružil vojski Unije skupaj s svojimi štirimi brati, od katerih je eden umrl v bitki pri Resaci.
-Kaj? Sprva je bil izvoljen za kapitana v četu C, 36. polk, prostovoljna pešnica Illinois. Polk je bil poslan v Missouri, februarja 1862 pa je bil imenovan za četrtnice. Avgusta istega leta je bil povišan v podpolkovnika, nad 8. polkom Missouri Volunteer Cavalry.