Det var et stort byhus bygget for hertugen af Buckingham i 1703 på et sted, der havde været i privat ejerskab i mindst 150 år. Det blev erhvervet af kong George III i 1761 som en privat bopæl for dronning Charlotte og blev kendt som Dronningens Hus. I løbet af det 19. århundrede blev det udvidet, hovedsageligt af arkitekterne John Nash og Edward Blore, der byggede tre vinger omkring en central gårdsplads.
John Nash og Edward Blore