Han tabte til sidst sin titel i 1985 til Garry Kasparov, hvis aggressive taktiske stil var i skarp kontrast til Karpovs positionelle stil. De to kæmpede fem utroligt tætte verdensmesterskabsmatcher, verdensmesterskabet i skak i 1984.
(kontroversielt afsluttet uden resultat med Karpov førende +5 −3 =40), Verdensmesterskabet i skak 1985 (hvor Kasparov vandt titlen, 13<unk>11), Verdensmesterskabet i skak 1986 (nævnt vundet af Kasparov, 121⁄2<unk>111⁄2), Verdensmesterskabet i skak 1987 (draw 12<unk>12, Kasparov bevarer titlen) og Verdensmesterskabet i skak 1990 (igen nævnt vundet af Kasparov, 121⁄2<unk>111⁄2).