Varlet blev igen anholdt i begyndelsen af terrorregimet. Han blev løsladt den 29. oktober 1793, men efter Robespierres fald blev han endnu engang arresteret og tilbragte næsten et år i fængsel. Efter sin løsladelse slog Varlet sig ned i Pailly, Yonne, giftede sig og fik tre børn. Han blev bonapartist efter 1800 og boede en tid i Nantes. Han vendte tilbage til Paris i flere måneder i 1830 for at deltage i
Juli-revolutionen. I 1836 forlod han Nantes for at bo i Corbeil-Essonnes, hvor han druknede den 4. oktober 1837.