Napisati nadaljevanje za ta odstavek - Smrt Yazida in njegovega sina in naslednika Mu'awiyaja II. v razmeroma hitrem zaporedju leta 683 <unk> 684 je povzročila vakuum v Damasku in posledični propad avtoritete Omejadov po Kalifatu. Večina pokrajin je razglasila zvestobo nasprotniku kalifu Abd Allah ibn al-Zubayrju, ki je živel v Meki. V delih Sirije so se starejša arabska plemena, ki so si zagotovila privilegiran položaj na dvoru in v vojski Umajadov, zlasti Banu Kalb, potrudila ohraniti Umajadovo vladavino. Marwan in njegova družina, vključno z Abd al-Malikom, so se od takrat preselili v Sirijo, kjer je Marwan srečal zagovornika Umayjadov Ubayd Allah ibn Ziyada, ki je bil pravkar izgnan iz svojega guvernerstva v Iraku. Ibn Ziyad je Marwana prepričal, naj posreduje svojo kandidaturo za kalifat na vrhu pro-umejadskih plemen v Jabiji, ki ga je gostil kalbijski poglavar Ibn Bahdal. Plemensko plemstvo je Marwana izvolilo za kalifa in slednji je postal odvisen od Kalba in njegovih zaveznikov, ki so skupaj postali znani kot "Yaman" zaradi njihovih navidezno skupnih južnosti Južne Arabije (Yamani). Njihova moč je prišla na račun plemen Qaysi, relativnih novincev, ki so pod Mu'awijo I. prevladovali nad severno Sirijo in Jazirom in so prebežali k Ibn al-Zubayrju. Marwan in njegovi Jamani so jih porazili v bitki pri Marj Rahitu.
leta 684, kar je privedlo do dolgoletnega krvavega sovraštva in rivalstva med obema plemenitima koalicijami. Abd al-Malik ni sodeloval v bitki iz verskih razlogov, po sodobnih pesmih, zbranih v antologiji Abu Tammama (umrl. 845).