Efter at have tiltrukket sig stor interesse fra Inter Milan, i midten af 1979, Ancelotti overført til Roma, og gjorde sin Serie A-debut i en 0<unk>0 træk mod AC Milan den 16. september. Under manager Nils Liedholm blev han udstationeret som en vinger eller central midtbanespiller og blev en af klubbens vigtigste spillere i et hold, der prægede brasilianske stjerner midtbanespillere Falcão og Toninho Cerezo, samt italienske fodboldspillere Roberto Pruzzo, Bruno Conti, Agostino Di Bartolomei og Pietro Vierchowod, og vandt straks på hinanden følgende Coppa Italia-titler i sine første to sæsoner med klubben. I løbet af sine otte sæsoner i klubben vandt han Coppa Italia i alt fire gange (1980, 1981, 1984 og 1986). Efter at have kæmpet med knæskader, og at have klaret anden- og tredjepladsen i ligaen i 1981
Ancelotti hjalp holdet med at vinde et historisk italiensk mesterskab i 1983, klubben's anden liga-titel i deres historie. I den følgende sæson hjalp han endda Roma med at vinde en anden Coppa Italia-titel og nå til Europacupfinalen i 1984, selvom han gik glip af finalen på grund af en skade, da Roma blev besejret af Liverpool på straffespark på Stadio Olimpico i Rom. Han blev udnævnt til holdets kaptajn i 1985 under den nye klubbens manager Sven-Göran Eriksson, og fungerede som mentor for den unge midtbanespiller Giuseppe Giannini, da Roma vandt Coppa Italia, men igen savnede ligaen i Serie A-sæsonen 1985/86, hvor de endte på andenpladsen bag Juventus.