Stone blev født i Los Angeles af jødiske forældre. Hans mor, Hilda (født Hess), var filmskribent, og hans far, John Stone (født Saul Strumwasser), var forfatter og producer på mange stumfilm, herunder Tom Mix, Buck Jones, Shirley Temple og Charlie Chan film. Hilda var en bayersk jøde fra Bamberg, men blev født i Mexico (hendes far undgik udskrivningen tilbage i 1870'erne) og boede der i fem år med sin familie, indtil alle udenlandske statsborgere blev sparket ud under den mexicanske revolution i 1910.
- Hvad? Stone har en bror, David, som var veteran i Anden Verdenskrig og tjente i den amerikanske flåde.