Boleyn-familien kom oprindeligt fra Blickling i Norfolk, 15 miles (24 km) nord for Norwich. På tidspunktet for Annes fødsel blev Boleyn-familien betragtet som en af de mest respekterede i det engelske aristokrati. Blandt hendes slægtninge var hun nummereret Howards, en af de fremtrædende familier i landet; og en af hendes forfædre omfattede kong Edward I af England. Ifølge Eric Ives var hun helt sikkert af mere ædel fødsel end Jane Seymour, Catherine Howard og Catherine Parr, Henry VIII's tre andre engelske hustruer.
en købmand og uldhandler