Hans sidste år var præget af en skandale i kongefamilien, kendt som
Tour de Nesle affære, hvor Filips tre svigerdøtre blev anklaget for utroskab. Hans tre sønner var efter hinanden konger af Frankrig: Ludvig 10., Filip 5. og Karl 4. Deres hurtige på hinanden følgende dødsfald uden overlevende sønner ville kompromittere fremtiden for det franske kongelige hus, som indtil da havde virket sikkert, og fremkalde en arvefølgekrise, der til sidst ville føre til Hundredeårskrigen (1337-1453).