Tuliskeun saterusna pikeun paragraf ieu - Gubernur John Hunter maréntahkeun benteng diwangun jeung Fort Phillip ieu commissioned dina 1804 ku katilu New South Wales Gubernur (dina kantor 1800 <unk> 1806), Philip Gidley Raja, sawaréh salaku respon ka ancaman éksternal kayaning hiji kamungkinan serangan Perancis dina 1803 jeung sawaréh alatan karusuhan internal ti narapidana pemberontak reflected dina ngan utama Australia narapidana pemberontakan
di Castle Hill dina Maret 1804. Ieu disebut Patempuran Vinegar Hill sabab kalolobaan pemberontak anu dihukum nyaéta urang Irlandia. Windmill Hill (nu saterusna Observatory Hill) dipilih salaku lokasi benteng sabab éta titik pangluhurna di luhur koloni, affording pintonan komando tina Harbour ngadeukeutan ti wétan jeung kulon, walungan jeung jalan ka Parramatta, sabudeureun nagara jeung sakabeh kota handap. Bénténgna teu kungsi réngsé jeung teu kungsi ditémbak sakali-kali.