Hans mor, Julie Anne Toksvig (født Brett), er britisk. Hun har en ældre bror, Nick, og en yngre søster, Jenifer. Hun gik på Tormead School, en uafhængig pigeskole nær Guildford, da hendes far var bosat i London. Hendes første job, i en alder af 18, var en stilling som en følge spot operatør for den musikalske Jesus Christ Superstar. Hun læste lov, arkæologi og antropologi på Girton College, Cambridge, dimitterede med en førsteklasses grad og modtog to præmier for fremragende præstationer (The Rafiemakers og Monte Theresa Awards).
Tormeadskole