Under Ancelottis styre vandt Milan også Supercoppa Italiana i 2004.
, og var også back-to-back Serie A runners-up til Juventus i 2004/05 og 2005/06 (begge "Scudetti" blev senere slettet fra Juventus' rekordbøger på grund af klubbens involvering i "Calciopoli"-skandalen). I sæsonen 2004/05 førte Ancelotti også Milan til Champions League-finalen i 2005, hvor de tabte til Liverpool 2-3 på straffespark efter en 3-3-træk i normal tid. I Coppa Italia, holdet var ikke i stand til at komme forbi kvartfinalen. I den følgende sæson blev Milan igen skuffet, da de tabte til Barcelona i semifinalen i Champions League og kun nåede kvartfinalen i Coppa Italia.