Phillies opnåede succes i midten af 1970'erne. Med spillere som Carlton, tredje baseman Mike Schmidt, shortstop Larry Bowa, og outfielder Greg Luzinski, Phillies vandt tre lige division titler (1976-78). Men de faldt kort i NLCS, mod Reds i
1976 og Dodgers i 1977 og 1978. I 1979 købte Phillies Pete Rose, gnisten, der ville sætte dem over toppen.