Mens Hale var undercover, faldt New York City (dengang området ved den sydlige spids af Manhattan, mest syd for det, der nu er Chambers Street) til britiske styrker den 15. september, og Washington blev tvunget til at trække sig tilbage til øens nord i Harlem Heights (det, der nu er Morningside Heights). Kort tid efter, den 21. september, brændte en fjerdedel af den nedre del af Manhattan i den store brand i New York i 1776. Branden blev senere almindeligt antaget at have været startet af amerikanske sabotører for at holde byen fra at falde i britiske hænder, og selv om det var blevet foreslået at sætte ild til New York under Washingtons tilbagetrækning, Washington og Kongressen
Det er en af grundene til, at vi i dag ikke kan stemme for denne betænkning. Amerikanerne beskyldte de britiske soldater for at sætte ilden i gang uden ordre fra deres overordnede, så de kunne plyndre byen. Efter branden blev mere end 200 amerikanske patrioter tilbageholdt af briterne til afhøring.