Han tabte til sidst sin titel i 1985 til Garry Kasparov, hvis aggressive taktiske stil var i skarp kontrast til Karpovs positionelle stil. De to kæmpede fem utroligt tætte verdensmesterskabsmatcher, Verdensmesterskabet 1984 (kontroversielt afsluttet uden resultat med Karpov førende +5 −3 =40), Verdensmesterskabet 1985 (hvor Kasparov vandt titlen, 13<unk>11), Verdensmesterskabet 1986 (med en snæver sejr af Kasparov, 121⁄2<unk>111⁄2), Verdensmesterskabet 1987
(dragte 12<unk>12, Kasparov beholdt titlen), og Verdensmesterskabet i skak 1990 (igen tæt vundet af Kasparov, 121⁄2<unk>111⁄2).