Stone se je rodil v Los Angelesu, judovskim staršem. Njegova mati Hilda (rojena Hess) je bila filmska scenaristka, njegov oče John Stone (rojen Saul Strumwasser) pa je bil scenarist in producent številnih nemih filmov, vključno s filmi Tom Mix, Buck Jones, Shirley Temple in Charlie Chan. Hilda je bila bavarska Judinja iz Bamberga, vendar je bila rojena v Mehiki (njen oče se je izognil poveljstvu v sedemdesetih letih 19. stoletja) in tam živela pet let s svojo družino, dokler niso bili vsi tuji državljani izgnani med vojno v Mehiki.
Mehiška revolucija leta 1910. Stone ima brata Davida, ki je bil veteran druge svetovne vojne in je služil v ameriški mornarici.