Oppenheimer blev født i New York City den 22. april 1904, til Julius Oppenheimer, en velhavende jødisk tekstilimportør, der havde indvandret til USA fra Tyskland i 1888, og Ella Friedman, en maler. Julius kom til Amerika uden penge, ingen bacheloruddannelser studier, og ingen kendskab til det engelske sprog. Han fik et job i et tekstilfirma og inden for et årti var en leder med virksomheden. Ella var fra Baltimore. Oppenheimer var ikke-observerende Ashkenazi jøder. I 1912 flyttede familien til en lejlighed på 11. etage af 155 Riverside Drive, nær West 88th Street, Manhattan, et område kendt for luksuriøse palæer og boliger. Deres kunst inkluderede værker af Pablo Picasso og Édouard Vuillard, og mindst tre originale malerier af Robert Vincent van Gogh.
3 år