Skriv en fortsættelse til dette afsnit - I denne egenskab førte Qasim i juli-august 803 et raid ind i det byzantinske Lilleasien. Han belejrede den strategiske fæstning Koron, mens hans løjtnant al-'Abbas ibn Ja'far ibn Muhammad ibn al-Ash'ath blev sendt ud for at belejre en anden fæstning, kendt af araberne som Sinan. Byzantinerne tilbød imidlertid at løslade 320 muslimske fanger hvis han forlod landet, og han indvilligede. I februar 808, da Harun forlod sin bopæl Raqqa til sin anden ekspedition til Khurasan, efterlod han Qasim som sin stedfortræder i Raqqa, med Khuzayma ibn Khazim som sin rådgiver. Efter Haruns død og al-Amins tiltrædelse i 809 blev Qasim bekræftet i sin stilling som guvernør af "al-'Awasim" og "jund Qinnasrin", men blev tilsyneladende fjernet fra sin guvernørskab af Jazira (Upper Mesopotamien), hvor Khuzayma ibn Khazim blev udnævnt i stedet. Til sidst, i 810, blev Qasim fjernet af Amin fra alle hans guvernørstillinger til fordel for Khuzayma, og bragt til at leve under tæt tilsyn i Bagdad. Amin forbød kort efter at nævne ham i bønnerne, sammen med Abdallah al-Ma'mun, der var rejst i næsten oprør i Khurasan. I borgerkrigen
Derefter sejrede Ma'mun, der besejrede og dræbte sin bror Amin i 813. Umiddelbart efter blev Qasim formelt afsat fra sin stilling som efterfølger.