Hellmut Stern blev født i Berlin i en jødisk familie. Hans far, Dittmar Stern, var sanglærer, og hans mor, Ilse Rose Stern, var pianist. Hans mor lærte ham at spille klaver fra han var fem. Han gik på en jødisk skole i Wilmersdorf, hvor en protektor donerede en violin til den mest begavede elev, som han modtog i en alder af ni. Familien forsøgte at emigrere i begyndelsen af 1933. Efter den
November Pogrom i 1938, de flygtede fra Berlin til Harbin, nu i Kina, hvor hans mor havde modtaget en fiktiv kontrakt som pianist. I eksil hjalp Stern familien med indkomst som pianist og violinist, der spillede i barer, natklubber og hoteller. I 1948 emigrerede familien til Israel. Som barpianist på King David Hotel i Jerusalem i 1951 mødte han Isaac Stern, der arrangerede for ham en audition for Israel Philharmonic Orchestra i Tel Aviv. Han vandt sin første orkesterpost som anden violinist.