I de tidlige år af borgerkrigen blev de nordlige kaserner brugt til at holde konfødererede officerer taget som krigsfanger i afventning af overførsel til andre Unionens fængsler som Camp Johnson i Ohio, Fort Delaware eller Fort Warren i Boston Harbor. Fort Columbus og Castle Williams fungerede også som en midlertidig krigsfangelejr og fængselssygehus for konfødererede fanger under krigen. Generalmajor William H. C. Whiting (CSA) døde af dysenteri i februar 1865 på posthospitalet kort efter sin overgivelse ved
Slaget ved Fort Fisher, North Carolina. Han var den højeste rangerende konfødererede officer, der døde som krigsfange.