Pettitte adalah pemain pertama dari Core Four yang pensiun, mengumumkan keputusannya pada konferensi pers di Yankee Stadium pada tanggal 4 Februari 2011. Dia mengatakan kepada organisasi "untuk tidak mengandalkan kembalinya" setelah Yankees kehilangan 2010 American League Championship Series
untuk Texas Rangers, mengutip keinginannya untuk menghabiskan lebih banyak waktu dengan keluarganya. Setelah menghabiskan musim jauh dari bisbol, ia melayani sebagai instruktur tamu untuk Yankees selama pelatihan musim semi 2012 dan bersikeras bahwa ia tidak mempertimbangkan comeback. Namun, ia membalikkan keputusannya pada hari terakhirnya sebagai instruktur dan bergabung kembali dengan organisasi pada tanggal 16 Maret, menandatangani kontrak liga kecil senilai $ 2,5 juta. Dia pitch di kedua musim untuk Yankees sebelum mengumumkan pensiunnya yang kedua pada tanggal 20 September 2013. Meskipun awalnya dia tidak akan mengungkapkan keputusannya, itu adalah atas desakan Rivera bahwa ia akhirnya melakukannya. Yankees mengadakan upacara untuk Pettitte lima hari kemudian pada tanggal 25 September, dengan sesama anggota Core Four Jeter dan Rivera mempersembahkan dia dengan dasar yang dibingkai dari awal Yankee Stadium terakhirnya, yang ditandatangani oleh semua rekan satu timnya. Dia membuat penampilan terakhirnya pada tanggal 28 September melawan Houston Astros, satu-satunya tim lain yang dia mainkan dalam karirnya. Dia melemparkan permainan lengkap - pertamanya sejak 2006 - dan dengan memenangkan start terakhirnya, dia menyelesaikan musim dengan rekor 11 menang 11 kalah. Ini mempertahankan rekornya tidak pernah memiliki musim kalah sepanjang karirnya selama 18 tahun dan menjadi satu-satunya pitcher dalam sejarah liga utama yang memiliki 15 musim kemenangan (dengan minimal tiga kali memulai masing-masing) tanpa mencatat musim kalah.