Efter mordet på den tredje kalif Uthman i 656 af provincial oprørere, kalifatet faldt i borgerkrig
som Mu'awiya ibn Abi Sufyan, en slægtning til Uthman og guvernøren i Syrien, udfordret legitimiteten af den nye kalif Ali. Den ubeslutsomme kamp mellem de to ved Siffin endte med en voldgiftsaftale i juli 657. Ved at hævde, at menneskelig voldgift var ugyldig, da Guds befaling var klar om, at oprørerne (i dette tilfælde Mu'awiya) måtte bekæmpes og besejres, forlod nogle af Alis soldater hæren. De blev kaldt Kharijites efter denne løsrivelse. De kæmpede senere mod Ali i Slaget ved Nahrawan i juli 658 og blev knust af kaliffen. Efter at Ali blev myrdet i 661 af en Kharijite, blev Mu'awiya den eneste hersker og etablerede Umayyad Kalifatet. Under hans regeringstid blomstrede kharijitterne i den sydlige irakiske by Basra. Stærkt undertrykt af den irakiske guvernør Ziyad ibn Abih og senere Ubayd Allah ibn Ziyad, flygtede kharijitterne til Arabien omkring 680.