Paine deltog i alle tre pistolkonkurrencer ved OL i 1896, men deltog kun i én. Han, sammen med sin bror Sumner Paine, blev diskvalificeret fra den hurtige ild pistol begivenhed for ikke at have den passende kaliber pistol. Begge Paines brugte Colt-revolvere, skydevåben, der var langt bedre end dem, der blev brugt af deres modstandere i den 25 meter militære pistol.
John vandt begivenheden let, hvor han scorede 442 point på 25 hits ud af 30 skud, Sumner var ikke langt bagud, med 380 point på 23 hits; den tredjeplacerede, den græske Nikolaos Morakis, scorede kun 205 point.