Skriv en fortsættelse til dette afsnit - Med Phillies fortsatte han sin rolle som en pålidelig relief pitcher, tjente sin anden karriere All-Star nikkede i sin første sæson i Philadelphia, selv om han ikke optrådte i spillet. Efter at have afsluttet anden til Pirates i 1975, McGraw's Phillies vandt deres division krone de næste tre sæsoner. De var dog ikke i stand til at nå World Series, da de blev fejet af Cincinnati's "Big Red Machine" i 1976 NLCS
, og faldt til Los Angeles Dodgers de følgende to sæsoner.