Tulis kelanjutan untuk paragraf ini - Baldwin lahir di Dutchess County, New York, dan dibesarkan di peternakan keluarga di sana. Dia bersekolah di sekolah menengah di Red Creek, New York, dan kemudian mengajar di sekolah di Rhode Island dan Connecticut. Pada tanggal 13 April 1861, ia bergabung dengan Angkatan Darat Union bersama dengan empat saudara laki-lakinya, salah satu dari mereka akan tewas dalam aksi di Pertempuran Resaca
Aku tahu. Dia awalnya terpilih sebagai kapten untuk Perusahaan C, 36th Regiment, Infanteri Relawan Illinois. Resimen itu dikirim ke Missouri, dan pada Februari 1862 ia menjadi quartermaster. Pada bulan Agustus tahun yang sama ia dipromosikan menjadi letnan kolonel, atas 8th Regiment Missouri Volunteer Cavalry.