Po dveh zelo uspešnih sezonah brez nastopa v končnicah, so bili Astros favoriti za zmago. Dodali so Andyja Pettittea na seznam, ki je že vključeval Lancea Berkmana, Jeffa Kenta in veterane Bagwella in Biggia. Roger Clemens, ki se je po sezoni z New York Yankeesom upokojil, se je za leto 2004 pridružil nekdanjemu soigralcu Pettitteu v Astrosu. Enoletna pogodba je vključevala edinstvene pogoje, kot je možnost, da Clemens ostane doma v Houstonu na izbranih potovanjih, ko ni bil načrtovan za igranje. Kljub zgodnjim napovedom za uspeh, so Astrosi imeli povprečen rezultat 44 na 44 na odmoru All-Star. Glavni problemi so bili pomanjkanje produkcije in slabi rezultati v tesnih tekmah. Ko so ga na tekmi All-Star 2004 v Houstonu izžvižgali, je bil trener Jimy Williams odpuščen in zamenjan s Philom Garnerjem, zvezdnikom Astrosov iz leta 1986, ki so osvojili divizijo. Astrosi so v drugi polovici sezone pod Garnerjem dosegli rekord 46-26, zaradi česar so dobili divjo kartico. Astrosi so porazili Bravese 3 proti 2 v Division Series, vendar so izgubili
National League Championship Series v sedmih tekmah za St. Louis Cardinals. Leta 2004 je Clemens osvojil rekordno sedmo nagrado Cy Young. Poleg tega je v sredini sezone Carlos Beltrán v zamenjavi z Kansas City Royalsom Astrosom zelo pomagal v njihovem tekmu v končnicah. Kljub govoricam o zamenjavi sredi sezone, je Beltrán dokazal, da je ključnega pomena za upanje ekipe, ki je zadel osem domačih tekmovanj v post sezoni. Čeprav je izrazil željo, da ostane z Astrosi, je Beltrán 9. januarja 2005 podpisal dolgoročno pogodbo z New York Mets.