Ketika Perang Saudara Amerika dimulai, para siswa di Universitas Madison mendirikan sebuah perusahaan sukarelawan, dan menawarkannya untuk layanan Amerika Serikat. Pada bulan September 1861 perusahaan menjadi Perusahaan C, 61 New York Regiment Infanteri Sukarela, dan Broady menjadi kaptennya. Setahun kemudian Broady dipromosikan menjadi letnan kolonel, dan pada musim semi 1863 ia menjadi, sebagai letnan kolonel, komandan resimen. Pada musim panas 1864 Broady menjadi, masih seorang letnan kolonel, seorang komandan brigade di Army of the Potomac. Sebulan kemudian ia terluka dalam aksi di Pertempuran Kedua Stasiun Ream
, dan harus meninggalkan perintah nya. Dia kemudian dikerahkan keluar dari Amerika Serikat, di luar Petersburg, Virginia. Pada tahun 1865 Broady menjadi kolonel, Sukarelawan Amerika Serikat.