Chiarugi blev født i Ponsacco, provinsen Pisa, og begyndte sin karriere med Fiorentina, hvor han var en del af den lineup, der vandt Serie A i 1968-69.
titel. Efter syv sæsoner med "violaen" flyttede Chiarugi til AC Milan i 1972, hvor han var medvirkende til "rossonerernes" triumf i 1972-1973 European Cup Winners' Cup, som blev vundet takket være et mål fra ham i den sidste kamp mod Leeds United, og sluttede konkurrencen som topscorer.