Clemens kom ud af pensionen og underskrev en etårig kontrakt med sin adoptiv hjemby Houston Astros den 12. januar 2004, hvor han sluttede sig til sin nære ven og tidligere Yankees-holdkammerat Andy Pettitte. Den 5. maj 2004 indspillede Clemens sit 4.137. strikeout i karrieren, hvilket placerede ham på andenpladsen på all-time-listen bag Nolan Ryan. Han blev udnævnt til starter for National League All-Star-holdet, men i sidste ende var den tabende krukke i det spil efter at have tilladt seks løb på fem hits, herunder et tre-run home run til Alfonso Soriano. Clemens sluttede sæsonen med en 18<unk>4 rekord, og blev tildelt sin syvende Cy Young Award, og blev den ældste spiller nogensinde til at vinde Cy Young i en alder af 42. Dette gjorde ham til en af seks krukker til at vinde prisen i begge ligaer, slutter Gaylord Perry, Pedro Martínez, og Randy Johnson og senere sluttede sig Roy Halladay og Max Scherzer. Clemens var den tabende krukke for Astros i Game 7 af
2004 NLCS mod St. Louis Cardinals, giver 4 runs i 6 innings af arbejde. Selv om han kastede godt, blev han træt i sjette inning og gav alle fire runs.