Denne succes blev hurtigt efterfulgt af en mørk periode i klubbens historie, da Milan blev forvist til Serie B to gange i begyndelsen af 1980'erne. Milan blev forvist i 1980.
for at være involveret i matchfixing-skandalen i 1980, og igen efter at have afsluttet tredje-sidste i 1981/82 sæsonen, efter at have lige vendt tilbage til Serie A den foregående sæson, efter at have vundet 1980/81 Serie B-titlen. Trods at han var medlem af Italiens hold til EM 1980, som sluttede som nummer fire, og det hold, der vandt VM i 1982, valgte Baresi at blive i Milan, hvor han vandt Serie B-titlen for anden gang i sæsonen 1982/83 og bragte Milan tilbage til Serie A. Efter at Aldo Maldera og Fulvio Collovati forlod klubben i 1982, blev Baresi udnævnt til Milan's kaptajn, i en alder af 22, og ville holde denne position for meget af sin tid i klubben, og blev et symbol og en leder for holdet. I løbet af denne dystre periode for Milan lykkedes det Baresi at vinde en Mitropa Cup i 1982 og nåede Coppa Italia-finalen i sæsonen 1984/85, selvom holdet ikke kunne dominere i Serie A.