McCarver indkaldte sin første World Series for ABC som en sidste minut erstatning for Howard Cosell. Cosell var blevet fjernet fra udsendelserne helt efter uddrag fra hans kontroversielle bog "I Never Played the Game" (som var kritisk over for Cosells kolleger på ABC Sports) dukkede op i "TV Guide". Måske McCarvers mest bemærkelsesværdige opgave for ABC før 1985 World Series var som en felt reporter for
1984 National League Championship Series.