Njegov oče Salomon (1786-1853) je bil judovski poslovnež iz Nizozemske. Družina, ki je bila prvotno bogata, je izgubila ves svoj denar med danskim državnim stečajem leta 1813
Otroci so odraščali v revščini. On in njegovi bratje so bili prisiljeni delati v očetovi majhni tovarni cigar in prodajati to, kar so izdelali na ulici.