I 1955 meldte han sig til den franske hær og blev sendt til Algeriet under uafhængighedskrigen.
I 1957. Efter sin tjeneste i den franske hær vendte Conté tilbage til Guinea, som blev uafhængig af Frankrig den 2. oktober 1958, og blev integreret i den nye hær med rang af sergent. I 1962 deltog han i officerskolen i Camp Alpha i Conakry. Kort efter blev han overført til 2. bataljons artilleri-træningscenter i Kindia. Den 1. juli 1963 blev han forfremmet til andenløjtnant. To år senere blev han forfremmet fra andenløjtnant til løjtnant. Den 22. november 1970 invaderede portugisisk militær sammen med guineanske dissidenter landet fra Portugisisk Guinea (nu Guinea-Bissau) i et tilsyneladende forsøg på at vælte præsident Ahmed Sékou Tourés regering og ødelægge PAIGC-gerillaerne. For sin tjeneste for nationen blev han forfremmet til rang af kaptajn den 27. februar 1971. I 1973 blev han udnævnt til kommandør for Boké-operationszonen (i det nordvestlige Guinea) for at bistå den pro-uafhængige guerillabevægelse, African Party for the Independence of Guinea and Cape Verde (PAIGC) i nabolandet portugisisk Guinea. Den 10. maj 1975 blev han udnævnt til assisterende stabschef for hæren.