Skriv en fortsættelse til dette afsnit - Efter det kommunistiske kup
I 1978 vendte Ahmadzai tilbage til Afghanistan for at slutte sig til mujahedinerne. Han var en nær samarbejdspartner med Burhanuddin Rabbani og var stedfortræder for hans Jamiat-e Islami-parti, men forlod derefter og sluttede sig til Abdul Rasul Sayyaf's Islamic Dawah Organisation of Afghanistan-parti i 1992, det år, hvor det kommunistiske styre sluttede. Han tjente som minister i den post-kommunistiske afghanske regering, forskelligt som indenrigs-, byggeri- og uddannelsesminister, og blev senere premierminister mellem 1995 og 1996, selv om han har bagatelliseret betydningen af disse stillinger i betragtning af kaoset på grund af kampene på det tidspunkt.