Setelah dibebaskan dalam pertukaran tahanan, ia dipromosikan ke pangkat brigadir jenderal dan dikirim ke Tennessee Barat, di mana ia mengambil alih komando brigade campuran tentara Mississippi dan Tennessee. Memenangkan penghargaan di Pertempuran Coffeeville, Baldwin kemudian berpartisipasi dalam pertempuran Port Gibson
dan Champion's Hill selama Kampanye Vicksburg. Baldwin ditangkap saat Vicksburg jatuh. Setelah ditukar dia ditugaskan ke Distrik Mobile. Di sana ia tewas dalam sebuah kecelakaan ketika sebuah tiang yang patah membuatnya jatuh dari kudanya, dekat Sungai Dog di Alabama.