George Neville var søn af Edward Neville, 3. Baron Bergavenny og Elizabeth Beauchamp. Han blev gjort til ridder af Edvard 4. den 9. maj 1471, efter at have kæmpet for kongen ved
Slaget ved Tewkesbury. Han efterfulgte sin far i 1476.