Chanzy blev født i Nouart i departementet Ardennerne, Frankrig, som søn af en kavaleriofficier. Han blev uddannet på flådeskolen i Brest, men blev indkaldt til artilleriet. Han deltog efterfølgende på militærakademiet Saint Cyr og blev udnævnt til "Zouaves" i 1843. Han deltog i mange kampe i Algeriet og blev forfremmet til løjtnant i 1848 og til kaptajn i 1851. Han blev "chef de bataillon" i 1856 og deltog i den anden italienske uafhængighedskrig, hvor han var til stede ved slaget ved Magenta.
og Solferino. Han deltog i den syriske kampagne i 1860-61 som oberstløjtnant, og som oberst kommanderede 45. regiment i Rom i 1864. Han vendte tilbage til Algeriet som brigadegeneral, hjalp med at undertrykke det arabiske oprør og kommanderede underdivisionerne i Bel Abbes og Tlemçen i 1868.