Efter to succesfulde sæsoner uden en playoff optræden, ved midseason i 2004 Astros var flundering. Før sæsonen havde Astros tilføjet stjerner Andy Pettitte og Roger Clemens til et hold, der allerede omfattede stjerner som Lance Berkman og Jeff Kent samt kernen af Bagwell og Biggio. De blev hurtigt udnævnt til en af favoritterne til at vinde National League. Men ved All-Star-pausen var de 44-44, hovedsageligt på grund af manglende evne til at score runs, og en dårlig rekord i 1-run spil. Efter at være blevet booed på 2004 All-Star Game afholdt på Minute Maid Park, mens han tjente som træner for National League, blev Williams fyret og erstattet af Phil Garner, der havde været en stjerne for Astros'anden division vinder i 1986. Selv om mange mennesker var meget skeptiske over for Garner, der havde en middelmådig track record i sine tidligere manageriske stints i Milwaukee og Detroit, med kun en vindende sæson på begge stop (i 1992), holdet reagerede på Garner, der førte holdet til en 46 <unk> 26 rekord i anden halvleg og National League's Wild Card. De ville fortsætte med at vinde deres første playoff-serie i otte forsøg, slå Braves i fem kampe i National League Division Series for at komme videre til National League Championship Series
for tredje gang. Men de ville tabe til St. Louis Cardinals i syv kampe, mest dramatisk på en walk-off home run af Jim Edmonds i den 12. inning af Game 6.