V maju 1814 se je Ruffo vrnil v Rim, kjer so ga prebivalci in kolegij kardinalov sprejeli brezbrižno, zato se je odločil, da se preseli v Neapelj in se tam naseli. Papež Pij VII. ga je 8. februarja 1815 v Rimu poklical nazaj in ga imenoval za prefekta Annone in Grascie, kar pomeni, da je bil odgovoren za nabavo mesa, maščobe in olja. 8. maja 2017 je postal veliki prior Malteškega reda v okviru papeške države. Od 29. marca 1819 do 21. februarja 1820 je bil Camerlengo Svete rimske cerkve, dokler ni bil imenovan za prefekta kongregacije za vodo, Pontinske močvirje in Chiani. Marca 1821 se je vrnil v Neapelj, ki ga je prizadela ljudska vstaja proti avstrijskim vojaškim silam. 27. junija je izbral diakonijo Santa Marije v Via Lata in imel naziv kardinala protodiakona. Avgusta 1823 se je Ruffo udeležil papeškega konklava
ki je izbral papeža Leona XII. Konec leta se je Ruffo vrnil v Neapelj.