Potts erstattede Dougherty som leder af 23. brigade i Darwin. Det var oprindeligt en AIF-brigade, der bestod af frivillige, der kunne tjene i udlandet. Da japanerne rykkede frem i 1941 og 1942, blev de oprindelige bataljoner sendt til Ambon, Rabaul og
Timor. De blev erstattet af bataljoner fra militsen, mænd, der var blevet indkaldt, og kun kunne tjene på australsk jord, medmindre de meldte sig frivilligt til AIF. Friktion var uundgåelig, og de nye officerer var ikke alle talentfulde mand-managere.