Tuliskan kelanjutan untuk paragraf ini - Selama Perang Saudara Amerika, Bump bertugas di Resimen Infanteri Wisconsin ke-25 dari Angkatan Darat Uni. Pertempuran yang ia ambil bagian termasuk Pertempuran Resaca
dari Kampanye Atlanta. Dia mencapai pangkat Sersan Pertama.