Haqqani lahir pada tahun 1939 di desa Karezgay di distrik Zadran Provinsi Paktia, Afghanistan, meskipun keluarganya kemudian pindah ke Sultankhel. Dia adalah seorang etnis Pashtun dari suku Zadran dari Khost. Dia melakukan studi agama lanjutan di seminari Dar-al-'Ulam Haqqaniya Deobandi pada tahun 1964 dan lulus yang memberinya hak untuk status mawlawi di Peshawar pada tahun 1970. Setelah pengasingan Raja Zahir Shah dan Presiden Daoud Khan berkuasa pada tahun 1973, situasi politik di Afghanistan perlahan mulai berubah. Sejumlah partai seperti Partai Demokratik Rakyat Afghanistan (PDPA) dan lainnya berusaha meraih kekuasaan. Haqqani adalah salah satu dari mereka, dan setelah dicurigai merencanakan melawan pemerintah ia pergi ke pengasingan dan berbasis dirinya sendiri di dan sekitar Miranshah, Pakistan. Dari sana ia mulai mengatur pemberontakan terhadap pemerintah Daoud Khan pada tahun 1975. Setelah revolusi Marxis 1978
oleh PDPA, Haqqani bergabung dengan Hizb-i Islami dari Mawlawi Mohammad Yunus Khalis.