Altafini begyndte sin karriere i Italien med AC Milan i 1958, efter VM i Sverige; hans talent og offensive potentiale var blevet bemærket af Milan's agenter under nogle venlige kampe i Italien mod Inter og Fiorentina som forberedelse til den kommende turnering, hvor Altafini scorede. Han blev købt af den italienske klub før VM i Sverige for 135 millioner lire. Altafini gjorde sin scoreløse Milan-debut den 21. september 1958 i en alder af 20 år, og i sin første sæson spillede han 32 kampe og scorede 28 mål, og vandt 1958-59 Serie A.
Han scorede også 4 mål i 4 Coppa Italia optrædener den sæson, og sluttede sæsonen med i alt 32 mål i 36 optrædener i alle konkurrencer. Hans første liga mål kom den 5. oktober i en sejr mod Bari. Altafini var den bedste scorer i Coppa Italia 1960/61, med 4 mål, selv om Milan ikke var i stand til at komme forbi anden runde af konkurrencen. Den 27. marts 1960 scorede han fire mål i Milan derby mod lokale rivaler Inter, som endte i en 5 til 3 sejr for Milan. I løbet af de næste par sæsoner lykkedes det for Milan at ende på tredje og andenplads, da Altafini fortsatte med at nå 20-målssæsonen. Den 12. november 1961 scorede han også fire mål mod Juventus, da Milan vandt Serie A-titlen igen i sæsonen 1961-62, hvor Altafini sluttede som ligaens fælles topscorer med 22 mål i 33 kampe, sammen med Aurelio Milani.