Speer blev valgt som demokrat til den 42. og 43. kongres. Han var ikke kandidat til genudnævnelse i 1874. Han var delegeret til de demokratiske nationale konventioner i 1872 og
1880. - Hvad? Han genoptog sin advokatpraksis og i 1876 blev han en af ejerne af "Huntingdon Monitor". Han var en mislykket kandidat til valget i 1880 til den 47. kongres. Han døde i New York City i 1890. Han er begravet på Riverview kirkegård i Huntingdon, Pennsylvania.