Efter Haruns død i 809 blev al-Abbas oprindeligt ansat af hans efterfølger al-Amin til at fungere som udsending til al-Ma'mun i Khurasan, men midt i den voksende
I konflikten mellem de to brødre blev han snart overtalt til at skifte side og tilbyde sin troskab til al-Ma'mun i stedet. I marts 812 deltog han i det mislykkede kup af al-Husayn ibn Ali ibn Isa, hvor han var ansvarlig for personligt at anholde både al-Amin og hans mor Zubaydah bint Ja'far, og han blev efterfølgende valgt til at lede de første pilgrimsrejser, der blev foretaget i al-Ma'muns navn i 812, 813 og 814.