Clemens keluar dari pensiun, menandatangani kontrak satu tahun dengan hometown Houston Astros pada 12 Januari 2004, bergabung dengan teman dekat dan mantan rekan tim Yankees Andy Pettitte. Pada tanggal 5 Mei 2004, Clemens mencatat strikeout karirnya yang ke-4137 untuk menempatkannya di posisi kedua dalam daftar sepanjang masa di belakang Nolan Ryan. Dia dinobatkan sebagai starter untuk tim National League All-Star tetapi akhirnya adalah pitcher yang kalah dalam pertandingan itu setelah mengizinkan enam lari pada lima hits, termasuk tiga-lari home run untuk Alfonso Soriano. Clemens menyelesaikan musim dengan rekor 18<unk>4, dan dianugerahi penghargaan Cy Young ketujuh, menjadi pemain tertua yang pernah memenangkan Cy Young pada usia 42 tahun. Ini membuatnya menjadi salah satu dari enam pitcher untuk memenangkan penghargaan di kedua liga, bergabung dengan Gaylord Perry, Pedro Martínez, dan Randy Johnson dan kemudian bergabung dengan Roy Halladay dan Max Scherzer. Clemens adalah pitcher yang kalah untuk Astros di Game 7 dari NLCS 2004
melawan St. Louis Cardinals, memungkinkan 4 lari dalam 6 inning kerja. Meskipun ia melemparkan dengan baik, ia lelah di inning keenam, menyerah semua empat lari.