Clemens kom ud af pensionen og underskrev en etårig kontrakt med sin adoptivby Houston Astros den 12. januar 2004, hvor han sluttede sig til sin nære ven og tidligere Yankees-holdkammerat Andy Pettitte. Den 5. maj 2004 indspillede Clemens sit 4.137. strikeout i karrieren, hvilket placerede ham på andenpladsen på all-time-listen bag Nolan Ryan. Han blev udnævnt til starter for National League All-Star-holdet, men i sidste ende var den tabende krukke i det spil efter at have tilladt seks løb på fem hits, herunder et tre-run home run til Alfonso Soriano. Clemens sluttede sæsonen med en 18<unk>4 rekord, og blev tildelt sin syvende Cy Young Award, og blev den ældste spiller nogensinde til at vinde Cy Young i en alder af 42. Dette gjorde ham til en af seks krukker til at vinde prisen i begge ligaer, slutter Gaylord Perry, Pedro Martínez, og Randy Johnson og senere sluttede sig Roy Halladay og Max Scherzer. Clemens var den tabende krukke for Astros i Game 7 af 2004 NLCS
St. Louis Cardinals, hvor han scorede 4 point i 6 innings. Selv om han kastede godt, blev han træt i sjette inning og gav alle fire runs.