Douglas-Home blev født i Mayfair, London, som det første af syv børn af Lord Dunglass (den ældste søn af The 12th Earl of Home) og hans kone, Lady Lilian Lambton (datter af The 4th Earl of Durham). Drengens fornavn blev sædvanligvis forkortet til "Alec". Blandt parrets yngre børn var dramatikeren William Douglas-Home.
Mayfair, London