Ralston blev næstformand for stabscheferne i 1996. Han var favorit til at blive formand for de fælles stabschefer i 1997, men efter afsløringer af en hemmelig affære forblev han næstformand indtil maj 2000. Han blev derefter øverstkommanderende for NATO i Europa indtil januar 2003, hvor han gik på pension. Bill Clinton skriver i sine erindringer "My Life", at Ralston blev brugt til at løse en potentielt klebrig situation med Pakistan, hvor USA ville bruge pakistansk luftrum til at angribe Al-Qaeda-organisationens møde i Afghanistan efter
Bomber på USA's ambassader i Kenya og Tanzania. USA var bekymret for, at Pakistans efterretningstjenester ville afsløre målene eller endnu værre antage, at missilerne over Pakistan kom fra Indien, hvilket potentielt kunne udløse en atomkonflikt på det indiske subkontinent. Som Clinton skriver på side 799 i "My Life", "besluttede vi at sende viceformanden for den fælles stab, general Joe Ralston, for at spise middag med den øverste pakistanske militærchef på det tidspunkt, hvor angrebene blev planlagt. Ralston ville fortælle ham (den pakistanske general) hvad der skete et par minutter før vores missiler invaderede pakistansk luftrum, for sent til at advare Taliban eller Al-Qaeda, men i tide til at undgå at få dem skudt ned eller udløse et modangreb på Indien. "