Hans farfar, Nathaniel Bishop Harman, var en ophthalmolog, var en fremtrædende Unitarian og Spicer familien var velkendte Congregationalists. Hans farfar tante var Elizabeth Pakenham, grevinde af Longford (født Harman), og hendes fætre omfatter forfattere Lady Antonia Fraser (født Pakenham, en første fætter), Bill Rachelington, og Thomas Pakenham. Harman er en olde-olde niece af den liberale statsmand Joseph Chamberlain og er også relateret til Richard Chamberlain.
Elizabeth Pakenham