I [[1795]] afslog Marshall Washingtons tilbud om at blive justitsminister og i 1796 afslog han at blive ambassadør (minister) i Frankrig. I [[1797]] sagde han ja, da præsident [[John Adams]] udpegede ham som en af en tre-mands kommission, som skulle repræsentere De Forenede Stater i Frankrig. (De andre medlemmer af denne kommission var [[Charles Pinckney]] og [[Elbridge Gerry]].) Da de tre udsendinge ankom afviste franskmændene at forhandlede med dem, med mindre De Forenede Stater betalte store bestikkelser. Denne diplomatiske skandale blev kendt som [[XYZ affæren]], der fik de antifranske følelser til at blusse op i USA. Fjendtligheden voksede yderligere, da det franske [[Direktoriet|Direktorie]] udviste Marshall og Pinckney fra Frankrig. Marshalls håndtering af sagen og offentlig fortørnelse overfor Frankrig gjorde ham populær i den amerikanske offentlighed, da han vendte tilbage til De Forenede Stater.<ref name="Appleton"/>
Politik