I hans sidste år oplevede han en skandale blandt den kongelige familie, kendt som Tour de Nesle-affæren.
, hvor Philip tre døtre-i-lov blev anklaget for ægteskabsbrud. Hans tre sønner var efter hinanden konger af Frankrig: Ludvig 10., Filip 5. og Karl 4. Deres hurtige på hinanden følgende dødsfald uden overlevende sønner ville kompromittere fremtiden for det franske kongelige hus, som indtil da havde virket sikkert, og fremkalde en arvefølgekrise, der til sidst ville føre til Hundredeårskrigen (1337-1453).