Efter de arabiske optøjer i 1920 og de jødiske optøjer i Jaffa i 1921 mente den jødiske ledelse i Palæstina, at briterne (som Folkeforbundet havde givet mandat til at styre Palæstina i 1920 med det formål at etablere et jødisk nationalt hjem) ikke havde noget ønske om at konfrontere lokale arabiske bander over deres angreb på palæstinensiske jøder. Da de indså at de ikke kunne stole på den britiske administration for beskyttelse mod disse bander, dannede de jødiske ledere Haganah for at beskytte deres gårde og kibbutz. Ud over at beskytte jødiske samfund var Haganahs rolle at advare beboerne om og afvise angreb fra palæstinensiske arabere. I perioden mellem 1920 og 1929 manglede Haganah en stærk central myndighed eller koordinering. Haganah "enheder" var meget lokaliserede og dårligt bevæbnede: de bestod hovedsagelig af jødiske landmænd, der skiftede om at vogte deres gårde eller deres kibbutzim. Efter de arabiske massakrer i 1929
Haganahs rolle ændrede sig dramatisk. Det blev en meget større organisation, der omfattede næsten alle de unge og voksne i de jødiske bosættelser, samt tusindvis af medlemmer fra byerne. Det erhvervede også udenlandske våben og begyndte at udvikle værksteder til at fremstille håndgranater og simpelt militærudstyr, og omdannede sig fra en uuddannet milits til en dygtig underjordisk hær.