Pettitte je bil prvi igralec, ki se je upokojil, ko je 4. februarja 2011 na tiskovni konferenci na stadionu Yankee naznanil svojo odločitev. Organizaciji je rekel, naj ne računa na njegovo vrnitev, potem ko so Yankeesi izgubili prvenstvo leta 2010.
Texas Rangers, ker želi preživeti več časa s svojo družino. Po porabi sezone stran od bejzbola, je služil kot gostujoči inštruktor za Yankees med 2012 pomladnega usposabljanja in vztrajal, da ni razmišljal o vrnitvi. Vendar pa je na svoj zadnji dan kot inštruktor spremenil svojo odločitev in se 16. marca pridružil organizaciji in podpisal pogodbo za manjšo ligo v višini 2,5 milijona dolarjev. V dveh sezonah je igral za Yankeese, preden je 20. septembra 2013 naznanil svojo drugo upokojitev. Čeprav sprva ni hotel razkriti svoje odločitve, je na Riverino vztrajanje končno to storil. Yankees je pet dni pozneje, 25. septembra, za Pettitteja priredil slovesnost, kjer sta mu člani Core Four, Jeter in Rivera, predstavila okvirno bazo iz njegovega zadnjega začetka na Yankee Stadionu, ki sta jo podpisali vsi njegovi soigralci. Svojo zadnjo tekmo je odigral 28. septembra proti Houstonu Astros, edini drugi ekipi, za katero je igral v svoji karieri. Prvič od leta 2006 je igral celotno tekmo in z zmago na zadnjem startu sezono končal z 11 zmagami in 11 porazi. S tem je ohranil svoj rekord, da v svoji 18-letni karieri ni nikoli izgubil sezone in da je edini vrč v zgodovini velike lige, ki je imel 15 zmagovalnih sezon (z najmanj tremi začetki vsak) brez zapisa izgubljene sezone.