Skriv en fortsættelse til dette afsnit - Guvernør John Hunter beordrede, at der skulle bygges et fort, og Fort Phillip blev bestilt i 1804 af den tredje New South Wales-guvernør (på kontoret 1800 <unk> 1806), Philip Gidley King, dels som et svar på eksterne trusler som et muligt fransk angreb i 1803, dels på grund af den interne uro fra oprørske fanger afspejlet i Australiens eneste store fangeroprør
ved Castle Hill i marts 1804. Dette blev kaldt slaget ved Vinegar Hill, da de fleste af de dømte oprørere var irere. Windmill Hill (senere Observatory Hill) blev valgt som en befæstningsplads, da det var det højeste punkt over kolonien, der gav beherskende udsigt over havnen fra øst og vest, floden og vejen til Parramatta, det omkringliggende land og hele byen nedenunder. Fortet blev aldrig helt færdigt og aldrig affyret et eneste skud i vrede.