Saleh blev født i landsbyen Hafir Meshou, nord for Dongola. Han gik i Al-Hafir grundskole, og senere flyttede til Al-Barqeeq Central School for at modtage sin middelhavsuddannelse. Han studerede på Dongola gymnasium fra 1964 til 1968. Han dimitterede fra det sudanske militærakademi med rang af løjtnant i 1973. Han tjente som chef for Special Forces fra 1985 til 1987 og igen fra 1988 til 1989. Som en officer i hæren, Saleh deltog i den militære juni 1989 som bragte Omar al-Bashir til magten, og han tjente som medlem af Revolutionary Command Council for National Salvation, som styrede Sudan efter kuppet. Saleh holdt fremtrædende stillinger i de sudanske sikkerhedsmyndigheder. Han var direktør for National Security Service fra 1990 til 1995, indenrigsminister fra 1995 til 1998, præsidentlige anliggender fra 1998, premierminister fra 1998 til 2000, premierminister fra 2000 til 2005. Som en del af den nye regering, der blev oprettet efter præsidentens afgang, blev han igen udnævnt som vicepræsident fra 2011 til 2013.
Første næstformand