Gardner rejste med James Madison til Philadelphia i 1780, hvor Madison tjente i den kontinentale kongres
- Hvad? Madison havde ikke mange penge i 1782, men ville købe filosofiebøger, herunder Thomas Hobbes' "Leviathan". Da han forsøgte at skaffe sig disse bøger, overvejede han at sælge Gardner for at kunne betale for dem. Lovene i Pennsylvania ville have gjort det umuligt. Samme år forsøgte Gardner også at flygte, men blev efterfølgende fanget.