Fuldfør følgende sætning: Nelson blev udvalgt af Baltimore Colts i den 11. runde af NFL Draft 1957. Efter at have spillet både quarterback og defensiv tilbage på college, gjorde Colts ham til en defensiv spiller. Nelson startede 12 kampe sin rookie sæson, med 5 interceptions for 29 yards. I den følgende sæson, Nelson ville registrere 8 opfangninger for 199 yards og 1 touchdown. Colts ville fortsætte med at vinde NFL Championship i hvad der var NFL's første pludselige død overtidsspil og er siden blevet bredt kendt som "The Greatest Game Ever Played". Colts ville gentage i
I løbet af sin syvårige karriere med Colts, fik Nelson 33 interceptioner til 378 yards og 3 touchdowns. Colts byttede Nelson til New York Giants for 1964 sæsonen, hans sidste i NFL.