Napisati nadaljevanje za ta odstavek - Hargest je zapustil ženo in tri otroke. Četrti otrok, Geoffrey Hargest, je bil ubit 30. marca 1944, star 22 let, med bitko pri Monte Cassinu, ko je služil v 23. bataljonu. Pokopan je na vojaškem pokopališču v Cassinu. Še en sin je umrl med aktivno službo v Malajski izredni situaciji.
-Kaj? James Hargest High School, izobraževalna ustanova v Invercargillu, je poimenovana po njem.