Conte blev signeret af Juventus-manageren Giovanni Trapattoni i 1991 (Conte henviser til Trapattoni som sin "anden far"), og debuterede den 17. november 1991 mod Torino. På grund af hans konsekvente præstationer, arbejdshastighed, lederskab og stædige spillestil blev han en vigtig figur hos klubbens fans, og blev senere udnævnt til holdets kaptajn under Marcello Lippi i 1996, efter at klubbens tidligere kaptajn Gianluca Vialli var gået af, og før Alessandro Del Piero blev forfremmet til rollen. I sæsonen 1998/99, da Del Piero fik en alvorlig knæskade, vendte Conte tilbage til kaptajnskabet, en position, som han opretholdt indtil sæsonen 2001/02. I løbet af sin Juventus-karriere vandt Conte fem Serie A-titler, 1994-95 Coppa Italia, 1992-93 UEFA Cup og 1995-96 UEFA Champions League, samt fire Supercoppa Italiana-titler, 1996 UEFA Super Cup, 1996 Intercontinental Cup
(som han gik glip af på grund af en skade) og 1999 UEFA Intertoto Cup, hvor han vandt alle mulige klubtitler, bortset fra UEFA Cup Winners' Cup.