Pettitte je bil najboljši, zato so ga pred sezono 1996 zamenjali. Začel je sezono v rotaciji, Pettitte je imel rekord 13 na 4 na koncu prve polovice sezone in se uvrstil v ekipo AL All-Star. Ni se pojavil na MLB All-Star igri leta 1996 zaradi boleče roke. Vodil je v ligi z 21 zmagami in bil tretji po zmagovalnem odstotku (.724) in osmi po ERA (3.87). Bil je drugi za Pat Hentgen za nagrado AL Cy Young, z najmanjšo razliko v glasovanju od leta 1972. Hentgen je osvojil nagrado deloma zato, ker je igral bolj popolne tekme kot Pettitte. Yankeesi so porazili Texas Rangers v 1996 ALDS in Baltimore Orioles v 1996 American League Championship Series
(ALCS). Pettitte je zmagal v dveh tekmah proti Oriolesom in imel priložnost za tretji start v seriji, ki je bila preklicana zaradi dežja. Pettitte je začel prvo tekmo Svetovne serije 1996 proti Atlanta Braves. V prvi tekmi je dovolil sedem zadetkov, v 5. tekmi pa je premagal Johna Smoltza, ki so ga zmagali 1:0. Yankeji so porazili Bravese v 6. tekmi in zmagali serijo, štiri igre proti dvema.