Efter at være blevet løsladt i en fangeudveksling, blev han forfremmet til rang af brigadegeneral og sendt til West Tennessee, hvor han overtog kommandoen over en blandet brigade af Mississippi og Tennessee soldater. Baldwin vandt ære ved slaget ved Coffeeville og deltog senere i slaget ved Port Gibson
og Champion's Hill under Vicksburg-kampagnen. Baldwin blev taget til fange, da Vicksburg faldt. Efter at være blevet byttet blev han sendt til distriktet Mobile. Der blev han dræbt i en ulykke hvor han ramte ned fra sin hest ved Dog River i Alabama.