Po dveh uspešnih sezonah brez nastopa v koncih so bili Astros favoriti za zmago v ligi leta 2004. Dodali so Andyja Pettittea na seznam, ki je že vključeval Lancea Berkmana, Jeffa Kenta in veterane Bagwella in Biggia. Roger Clemens, ki se je po sezoni z New York Yankeesom upokojil, se je za leto 2004 pridružil nekdanjemu soigralcu Pettitteu v Astrosu. Enoletna pogodba je vključevala edinstvene pogoje, kot je možnost, da Clemens ostane doma v Houstonu na izbranih potovanjih, ko ni bil načrtovan za igranje. Kljub zgodnjim napovedom za uspeh, so Astrosi imeli povprečen rezultat 44 na 44 na odmoru All-Star. Glavni problemi so bili pomanjkanje produkcije in slabi rezultati v tesnih tekmah. Ko so ga na tekmi All-Star 2004 v Houstonu izžvižgali, je bil trener Jimy Williams odpuščen in zamenjan s Philom Garnerjem, zvezdnikom Astrosov iz leta 1986, ki so osvojili divizijo. Astrosi so v drugi polovici sezone pod Garnerjem dosegli rekord 46-26, zaradi česar so dobili divjo kartico. Astrosi so porazili Bravese 3 proti 2 v Division Series, vendar so izgubili National League Championship Series.
St. Louis Cardinals v sedmih tekmah. Leta 2004 je Clemens osvojil rekordno sedmo nagrado Cy Young. Poleg tega je v sredini sezone Carlos Beltrán v zamenjavi z Kansas City Royalsom Astrosom zelo pomagal v njihovem tekmu v končnicah. Kljub govoricam o zamenjavi sredi sezone, je Beltrán dokazal, da je ključnega pomena za upanje ekipe, ki je zadel osem domačih tekmovanj v post sezoni. Čeprav je izrazil željo, da ostane z Astrosi, je Beltrán 9. januarja 2005 podpisal dolgoročno pogodbo z New York Mets.