Whittlesea blev grundlagt i 1849 som en militær udpost, der blev oprettet for at beskytte hvide bosættere under Frontierkrigen.
af 1850 <unk> 1853. Byen blev opkaldt efter Whittlesea i Cambridgeshire, fødestedet for Sir Harry Smith (1787-1860), guvernør i Kapkolonien fra 1847 til 1852. En britisk officer befæstede fem huse under Mlanjeni-krigen (1850 til 1853), da Xhosas belejrede bosættelsen. En af disse, som nu udgør en del af postkontorkomplekset, står stadig. Mellem 1948 og 1994, på højdepunktet af apartheidregimet i Sydafrika, tilhørte Whittlesea det tidligere Ciskei, et bantustan/hjemland oprettet i 1961 i henhold til loven om fremme af selvstyre fra 1959. Indtil 1994 var der ingen formel politisk organisation i Whittlesea. Indenrigsministeriet lette beslutningerne om arealanvendelse, tjenester og priser i townships gennem township-ledere. Efter Sydafrikas første demokratiske valg blev Whittlesea styret af et råd. I dag er byen under Enoch Mgijima Local Municipality, som dækker områder som Tarkastad & Queenstown.