I tro på, at Pettitte var den overlegne kaster, byttede Yankees Hitchcock før 1996 sæsonen. Startede sæsonen i rotationen, Pettitte havde en 13 <unk> 4 rekord i slutningen af den første halvdel af sæsonen, og gjorde AL All-Star-holdet. Han optrådte ikke i 1996 MLB All-Star Game, på grund af en øm arm. Han førte AL med 21 sejre og sluttede tredje i vindende procentdel (.724), og ottende i ERA (3.87). Han sluttede som nummer to til Pat Hentgen for AL Cy Young Award, med den mindste forskel i afstemning siden 1972. Hentgen vandt prisen dels fordi han kastede flere komplette kampe end Pettitte. Yankees besejrede Texas Rangers i 1996 ALDS og Baltimore Orioles i 1996 American League Championship Series
(ALCS). Pettitte vandt to kampe mod Orioles, og havde sin mulighed for en tredje start i serien aflyst af regn. Pettitte startede første kamp i World Series 1996 mod Atlanta Braves. Han tillod syv runs i innings i det første spil, men overhalede John Smoltz i Game 5, som Yankees vandt 1-0. Yankees besejrede Braves i Game 6 for at vinde serien, fire spil til to.