Ephraim Elimelech Urbach blev født i Białystok, Polen, til en hasidisk familie. Han studerede i Rom og Breslau, hvor han blev rabbi. Han emigrerede til Mandat Palæstina i 1937. Han tjente som rabbiner i den britiske hær under Anden Verdenskrig. Han deltog også i Israels uafhængighedskrig i 1948.
og derefter arbejdede for flere uddannelsesinstitutioner før han sluttede sig til det Hebraiske Universitets fakultet i 1953.