Uroligheder blandt de irske fanger førte til Castle Hill-oprøret.
, som brød ud kl. 20 den 4. marts 1804. Fængslerne var på vej til Parramatta og King, med sin provost marshal og fire mænd fra vagten, satte sig straks på vej til den bosættelse. En soldat fra gardet blev sendt for at give ordrer til major Johnston som var i hans hus i Annandale. Johnston skulle samle styrker for at opfange fangerne.