Rutherford startede sin første Indianapolis 500 i 1963. Det følgende år
Han var lige bag Eddie Sachs, da Sachs ramte Dave MacDonalds brændende bil og dræbte begge chauffører. Rutherford pressede sig mirakuløst mellem styrtet og væggen og kørte så tæt på Sachs' bil at en citron, som Sachs havde på en snor omkring halsen, blev fundet i Rutherfords motorrum.