Gossage se je razjezil na lastnika Yankeesov Georgea Steinbrennerja, ker se je vmešaval v ekipo. Leta 1982 je Steinbrennerja imenoval "debeluh zgoraj" in ni odobril načina, kako ga je uporabljal menedžer Yankees Billy Martin. Gossage je postal prost agent po sezoni 1983 in je vztrajal, da ne bo odstopil z New Yorkom. Podpisal je pogodbo s San Diegom. Leta 1984 je Gossage osvojil še en naslov, ko je v 5. tekmi prvenstva NL osvojil rešitev.
Po tem, ko je San Diego v sedmem inningu zadel štiri zadetke in vzel vodstvo 6 proti 3 proti Chicago Cubs, je Gossage zadal zadnja dva ininga, pri čemer je Jody Davis udaril v igro moči za zadnji out. Med 5. tekmo Svetovne serije 1984 proti Detroit Tigersom je Gossage, po tem, ko je prejel znake od trenerjev na klopi Padresov in obisku Padresovskega menedžerja Dicka Williamsa, namerno zavrnil, da bi sprehodil desnega igrača Kirk Gibsona. Gossage in Padres sta obžalovala odločitev, ko je Gibson zadel homer, ki je pripeljal Detroit Tigers do zmage. 17. avgusta je Gossage izstrelil Petea Rosea v njegovem zadnjem udarcu.