Efter krigen studerede Mackay fysik ved University of Cambridge under Ernest Rutherford før han vendte tilbage til Australien og sit gamle job som lektor ved University of Sydney. Fra 1933 til 1940 var han rektor for Cranbrook School, Sydney. Han forblev i militsen mellem krigene, og var generalmajor, da Anden Verdenskrig brød ud. Han blev udvalgt til at lede den 6. division i 1940 og førte den gennem den australske hærs første kampe i krigen. Enhver tvivl om hans evner forsvandt snart med divisionens engagement i Vestørkenkampagnen. Under slaget ved Bardia
I januar 1941 erobrede 6. division den befæstede by sammen med 36.000 italienske fanger. I slaget om Grækenland blev han den eneste australske general, der stod over for "Waffen-SS" i kamp. Han led en række nederlag i Grækenland, men imponerede tropperne under hans kommando med hans mod under ild. Han blev kaldt tilbage til Australien i 1941 for at tjene som General Officer Commanding Home Forces. Den 6. april 1942 overtog han kommandoen over Anden Hær. I løbet af 1943 kommanderede han to gange New Guinea Force i kampene i New Guinea-kampagnen. Hans aktive tjeneste sluttede med hans udnævnelse som højkommissær i Indien i november 1943.