Efter Haruns død i Khurasan i begyndelsen af 809, forblev Abdallah i provinsen og sluttede sig til hoffet for Haruns anden arving, al-Ma'mun (r. 813833), ved Marw. I den efterfølgende borgerkrig
mellem al-Ma'mun og hans halvbror, kalif al-Amin (r. 809<unk>813), forblev han stort set på sidelinjen ved Marw. Han var en af flere militære ledere, der nægtede at lede al-Ma'muns regering, en post, der til sidst faldt til Fadl ibn Sahl. Hans forhold til al-Ma'mun var anspændte, men han ledsagede ham mod vest og var sammen med ham, da han indtog Bagdad i 819.