I 2002 blev Williams manager for Houston Astros. Mens han fungerede som National League-træner ved 2004 All-Star Game i Houston <unk> på et tidspunkt, hvor Astros kæmpede på.500-mærket <unk> publikum på Houstons Minute Maid Park reagerede på introduktionen af Williams med en bestemt blandet reaktion, i modsætning til de ovationer, der generelt gives medlemmer af hjemmeholdet, der introduceres ved en All-Star-kamp. Dagen efter fyrede Astros Williams og to hovedtrænere, efter at de sandsynligvis havde ventet til efter festlighederne for at undgå en offentlig forlegenhed. Williams blev erstattet af Phil Garner, der førte Astros til 2004 National League Championship Series
Men kom et spil for sent til Houstons første World Series. (Det følgende år førte Garner Astros til World Series.) Williams sluttede med en rekord på 215 sejre og 197 nederlag.