Fifer vandt guld i [[toer uden styrmand]] ved [[Sommer-OL 1956|OL 1956]] i [[Melbourne]], som makker til [[Duvall Hecht]]. I finalen vandt amerikanerne guld foran [[Sovjetunionen|sovjetiske]] [[Igor Buldakov]] og [[Viktor Ivanov (roer)|Viktor Ivanov]], der fik sølv, mens [[østrig]]erne [[Josef Kloimstein]] og [[Alfred Sageder]] tog bronzemedaljerne.<ref>{{cite news|url=https://www.sports-reference.com/olympics/athletes/fi/jim-fifer-1.html|title=Sportsreference.com: Jim Fifer|access-date=2019-09-06|archive-date=17. april 2020|archive-url=https://web.archive.org/web/20200417130300/https://www.sports-reference.com/olympics/athletes/fi/jim-fifer-1.html|url-status=dead}} {{en sprog}}</ref> Han deltog også i disciplinen [[toer med styrmand]] ved [[Sommer-OL 1952|OL 1952]] i [[Helsinki]].
Sport