Joseph Johan Cosmo Nassy blev født i Paramaribo, Surinam (Nederlandsk Guyana), og var søn af en velstående forretningsmand. Han nedstammer på sin fars side fra jøder, der var flygtet fra Spanien under inkvisitionen, selv om hans bedsteforældres generation ikke længere praktiserede jødedommen. I 1919 begyndte Nassy at bo hos sin far, der var flyttet til New York. Han tog eksamen fra gymnasiet og i 1926 opnåede han et certifikat i elektroteknik. I 1929 rejste Nassy til England, hvor han blev ansat som lydinstallationist for et filmselskab. Året efter blev han sendt til Paris og derefter til Belgien med samme formål. Før han rejste til Europa, havde han fået et amerikansk pas under navnet Josef Nassy. Han hævdede, at han var født i San Francisco i 1899. Siden San Franciscos offentlige arkiver blev ødelagt i jordskælvet i 1906
, myndighederne udstedte pas uden yderligere undersøgelse.