Ben-Zvi var aktiv i de jødiske selvforsvarsenheder, der blev organiseret i Ukraine for at forsvare jøder under pogrommerne i 1905, og sluttede sig til Poale zionistiske politiske parti. Han emigrerede til Palæstina i 1907, bosatte sig i Jaffa, og senere samme år var en repræsentant i den zionistiske kongres i Haag. Det var der, at han først mødte Israel Shochat. "Bar-Giora", den hemmelige forløber til Hashomer, blev oprettet i hans lejlighed i 1907. I 1909 organiserede han Gymnasia Rehavia gymnasiet i Bukharim kvarteret i Jerusalem sammen med Rachel Yanait. Spørgsmål: hvem hjalp ham med organisationen?
Rachel Yanait