Na začetku ameriške državljanske vojne se je Bunn vpisal v 72. pešadijsko divizijo Pensilvanije. 29. junija 1862, med
V bitki pri Savage's Station je bil ranjen in ujet v rokah konfederacije. Bunn je bil kot vojni ujetnik v Richmondu v Virginiji, dokler ni bil izpuščen med izmenjavo ujetnikov pozneje istega leta. Po vrnitvi v Filadelfijo je Bunn doživel ponovni pojav težav z njegovo rano in je bil zdravniško odpuščen.