Speer je bil izvoljen za demokrata na 42. in 43. kongresu. Leta 1874 ni bil kandidat za ponovno imenovanje. Bil je delegat na Demokratični nacionalni konvenciji leta 1872 in
1880. let. Ponovno je začel s prakso prava in leta 1876 postal eden od lastnikov "Huntingdon Monitorja". Leta 1880 je bil neuspešen kandidat na volitvah v 47. kongres. Umrl je v New Yorku leta 1890. Pokopali so ga na pokopališču Riverview v Huntingdonu v Pensilvaniji.