I begyndelsen af den amerikanske borgerkrig meldte Bunn sig ind i den 72. infanteriregiment. Den 29. juni 1862, under slaget ved Savage's Station
Han blev såret og taget til fange af de konfødererede styrker. Bunn blev holdt som krigsfange i Richmond, Virginia, indtil han blev løsladt under en fangeudveksling senere samme år. Da han vendte tilbage til Philadelphia, oplevede Bunn et tilbagefald af problemer fra hans sår og fik en medicinsk udskrivning.