Hargest efterlades af sin kone og tre børn. Et fjerde barn, Geoffrey Hargest, var blevet dræbt den 30. marts 1944, 22 år gammel, under slaget ved Monte Cassino, mens han tjente i 23. bataljon. Han er begravet på Cassino War Cemetery. En anden søn blev dræbt, mens han var i aktiv tjeneste under Malayan Emergency
- Hvad? James Hargest High School, en uddannelsesinstitution i Invercargill, er opkaldt efter ham.