De midler, der blev doneret til Hovevei Zion af Haim Cohen, blev overført til den jødiske nationalfond, som købte 120 dunam jord i de sydlige udkanten af Jerusalem. Mekor Chaim blev grundlagt i 1926 af den religiøse zionistiske Mizrahi bevægelse. Det blev planlagt som en landsby med 20 små gårde, og blev bygget langs en hovedgade, der udviklede sig parallelt med jernbanelinjen. Hver familie fik en tomt på to dunam til et hus, en have og en frugthave. I de tidlige dage havde familierne køer og høns. Bygningsentreprenøren, Mar Haim, var leder af den første nabolagskomité. Han sørgede for, at Hamekasher busfirmaet åbnede en regelmæssig rute mellem Mekor Chaim og byens centrum. Oprindeligt var der kun én vandkran i den sydlige del af kvarteret. Udvalget købte vandet fra kommunen og satte en vagt ved vandhanen for at tælle hvor mange spande hver familie tog. Senere blev der bygget vandcisterner i hver hjemmes have. Under de arabiske optøjer i 1929
, beboerne tog ly i synagogen, som var bygget som en fæstning.