Ali blev født Mahershalalhashbaz Gilmore i 1974, i Oakland, Californien, søn af Phillip Gilmore (1956<unk>1994) og Willicia Goines (b.1957). Han blev opdraget som kristen i Hayward, Californien af sin mor, en ordineret baptistminister. Hans far var en skuespiller, der optrådte på Broadway. Maher-shalal-hash-baz er navnet på et profetisk barn i kapitel 8 i den bibelske bog Esajas. Han gik på St. Mary's College of California (SMC) i Moraga, Californien, hvor han dimitterede i 1996 med en grad i massemedier. Han gik ind i SMC med et basketballstipendium og gik under navnet Hershal Gilmore, da han spillede for Gaels. Han blev fortvivlet med idéen om en sportskarriere på grund af den daglige behandling af det amerikanske hold til islamiske atleter, og udviklede en interesse for skuespil i Hayward, Californien af sin mor, en ordineret baptistminister.
Mahershalalhashbaz Gilmore