Skriv en fortsættelse til dette afsnit - I 2014 forlod al-Hashimi officielt al-Qaeda og bekræftede sin loyalitet over for ISIL (som tidligere havde fungeret som al-Qaedas irakiske gren). Han spillede en central rolle i ISIL's erobring af Mosul
i juni 2014. Han var en af ISIL's hovedledere, der orkestrerede de folkemordende massemord på yazidier under massakren i Sinjar i august samme år. På det tidspunkt var han blevet Abu Bakr al-Baghdadis stedfortræder.