Efter to ret succesfulde sæsoner uden en playoff optræden, Astros var tidlige favoritter til at vinde 2004 NL pennant. De tilføjede stjerne pitcher Andy Pettitte til en roster, der allerede omfattede standouts som Lance Berkman og Jeff Kent samt veteraner Bagwell og Biggio. Roger Clemens, der havde trukket sig tilbage efter sæsonen med New York Yankees, indvilligede i at slutte sig til sin tidligere holdkammerat Pettitte på Astros for 2004. Den etårige aftale indeholdt unikke betingelser, såsom muligheden for Clemens at blive hjemme i Houston på udvalgte roadtrips, når han ikke var planlagt til at kaste. På trods af de tidlige forudsigelser for succes, havde Astros en middelmådig 44 44 rekord på All-Star-pausen. En mangel på løbsproduktion og en dårlig rekord i tæt spil var store problemer. Efter at være blevet hylet på 2004 All-Star Game afholdt i Houston, manager Jimy Williams blev fyret og erstattet af Phil Garner, en stjerne på division-vindende 1986 Astros. Astros havde en rekord på 46 til 26 i anden halvdel af sæsonen under Garner og vandt NL wild-card-pladsen. Astros besejrede Braves 3 til 2 i Division Series, men ville miste
National League Championship Series til St. Louis Cardinals i syv kampe. Clemens vandt sin syvende Cy Young Award i 2004. Derudover hjalp tilføjelsen af Carlos Beltrán midt i sæsonen i en handel med Kansas City Royals Astros enormt i deres playoff run. På trods af rygter om midt i sæsonen, ville Beltrán vise sig at være medvirkende til holdets håb, og slog otte hjemmekunder i eftersæsonen. Selvom han havde hævdet et ønske om at forblive med Astros, underskrev Beltrán en langsigtet kontrakt med New York Mets den 9. januar 2005.