Menuliskan kelanjutan untuk paragraf ini - Kematian Yazid dan putranya dan penerusnya Mu'awiya II dalam suksesi yang relatif cepat pada tahun 683 <unk> 684 memicu kekosongan kepemimpinan di Damaskus dan akibatnya runtuhnya otoritas Umayyah di seluruh Kekhalifahan. Sebagian besar provinsi menyatakan kesetiaan mereka kepada Khalifah yang bermarkas di Mekah, Abd Allah ibn al-Zubayr. Di beberapa bagian Suriah, suku-suku Arab yang lebih tua yang telah mengamankan posisi istimewa di istana dan militer Umayyah, khususnya Banu Kalb, bergegas untuk mempertahankan pemerintahan Umayyah. Marwan dan keluarganya, termasuk Abd al-Malik, telah pindah ke Suriah, di mana Marwan bertemu dengan Ubayd Allah ibn Ziyad, yang baru saja diusir dari jabatan gubernurnya di Irak. Ibn Ziyad membujuk Marwan untuk mengajukan kandidatnya untuk kekhalifahan selama pertemuan puncak suku-suku pro-Umayyad di Jabiya yang diselenggarakan oleh kepala suku Kalbi Ibn Bahdal. Para bangsawan suku memilih Marwan sebagai khalifah dan yang terakhir menjadi tergantung pada Kalb dan sekutunya, yang secara kolektif dikenal sebagai "Yaman" sehubungan dengan akar Arab Selatan (Yamani) mereka yang jelas. Kekuasaan mereka datang dengan mengorbankan suku Qaysi, pendatang baru yang relatif yang telah datang untuk mendominasi Suriah utara dan Jazira di bawah Mu'awiya I dan telah membelot ke Ibn al-Zubayr. Qays dikalahkan oleh Marwan dan pendukung Yamani di Pertempuran Marj Rahit
pada tahun 684, yang menyebabkan perseteruan darah lama dan persaingan antara dua koalisi suku. Abd al-Malik tidak berpartisipasi dalam pertempuran karena alasan agama, menurut puisi kontemporer yang disusun dalam antologi Abu Tammam (d. 845).