Gennemfør følgende sætning: I 1801 blev der bygget en kanonplads på Middle Head (nord for Obeliskbugten) under Napoleonskrigene, og der blev også bygget en anden på Georges Head. Fort Phillip blev også bygget for at beskytte mod en potentiel fransk invasion i 1804, samt efter den
Castle Hill-oprøret samme år. Mere permanente befæstninger blev bygget i første halvdel af det 19. århundrede som reaktion på frygtede udenlandske angreb med nye trusler mod det britiske imperium, herunder Napoleons franske tropper i 1810 og den russiske Stillehavsflåde i 1850'erne (under Krimkrigen). I mellemtiden kom to amerikanske krigsskibe (krigssloop "Peacock" og krigssloop "Vincennes") uanmeldt i havnen den 30. november 1839 under dække af mørket. Selv om det kun var et høfligt besøg, demonstrerede begivenheden bosættelsens sårbarhed over for angreb og fremhævede bevidstheden om dens isolation og rigdom. Garden Island havde befæstninger bygget i 1820'erne, mens Bradleys Head begyndte at bygge i 1840. Opførelsen af Fort Denison begyndte i 1841, men fortet blev først færdig i 1857.