Alfred North Whitehead blev født i Ramsgate, Kent, England, i 1861. Hans far, Alfred Whitehead, var præst og skolemester på Chatham House Academy, en skole for drenge grundlagt af Thomas Whitehead, Alfred North's bedstefar. Whitehead selv mindes begge som meget succesfulde skoler, men at hans bedstefar var den mere ekstraordinære mand. Whiteheads mor var Maria Sarah Whitehead, tidligere Maria Sarah Buckmaster. Whitehead var tilsyneladende ikke særlig tæt på sin mor, da han aldrig nævnte hende i nogen af sine skrifter, og der er tegn på, at Whiteheads kone, Evelyn, havde en lav mening om hende.
1861