Speer je bil izvoljen kot demokrat v 42. in 43. kongres. Leta 1874 ni bil kandidat za ponovno imenovanje. Bil je delegat na državni kongres Demokratične stranke leta 1872 in 1880
-Kaj? Ponovno je začel s prakso prava in leta 1876 postal eden od lastnikov "Huntingdon Monitorja". Leta 1880 je bil neuspešen kandidat na volitvah v 47. kongres. Umrl je v New Yorku leta 1890. Pokopali so ga na pokopališču Riverview v Huntingdonu v Pensilvaniji.