Gossage blev sur på Yankees' ejer George Steinbrenner for at blande sig i holdet. I 1982 kaldte han Steinbrenner "den fede mand ovenpå", og misbilligede den måde Yankees' manager Billy Martin brugte ham på. Gossage blev en fri agent efter 1983 sæsonen, og insisterede på, at han ikke ville træde tilbage med New York. Han har skrevet kontrakt med San Diego Padres. I 1984 vandt Gossage endnu en titel, da han reddede i kamp 5 i NL Championship Series
og sende Padres til deres første World Series; efter San Diego havde scoret fire løb i den syvende inning for at tage en 6 til 3 føring mod Chicago Cubs, Gossage kastet de sidste to innings, få Jody Davis til at slå ind i et kraftspil for den endelige ud. Under kamp 5 i 1984 World Series mod Detroit Tigers, Gossage, efter at have modtaget tegn fra trænerne på Padres bænken og et besøg på bakken af Padres manager Dick Williams, nægtede med vilje at gå højre fielder Kirk Gibson. Gossage og Padres ville fortryde deres beslutning, da Gibson slog en homer til højre, hvilket førte til en World Series-sejr for Detroit Tigers. Den 17. august 2009 slog Gossage Pete Rose ud i Rose's sidste major-league ved bat.