Clemens je 12. januarja 2004 podpisal enoletno pogodbo s Houston Astrosom, kjer se je pridružil prijatelju in nekdanjemu soigralcu Andyju Pettitteu. 5. maja 2004 je Clemens dosegel 4.137. strikeout v karieri in tako postal drugi na seznamu vseh časov za Nolanom Ryanom. Imenovan je bil za začetnika ekipe National League All-Star, vendar je bil na koncu izgubljeni vrč v tej tekmi, potem ko je dovolil šest zadetkov na pet zadetkov, vključno s tremi domačimi zadetki Alfonsa Soriana. Clemens je sezono končal s rekordom 18 proti 4 in dobil svojo sedmo nagrado Cy Young, s čimer je postal najstarejši igralec, ki je kdaj osvojil nagrado Cy Young pri 42 letih. Zaradi tega je postal eden od šestih vrčnikov, ki so osvojili nagrado v obeh ligah, pridružili pa so se Gaylordu Perryju, Pedru Martínezu in Randyju Johnsonu, kasneje pa so se jim pridružili Roy Halladay in Max Scherzer. Clemens je bil izgubljeni vrč za Astros v igri 7
2004 NLCS proti St. Louis Cardinals, dovolil 4 tekme v 6 inningih dela. Čeprav je dobro metal, se je v šestih potezah utrudil in predal vse štiri tekme.