Skriv en fortsættelse til dette afsnit - Nelson blev udvalgt af Baltimore Colts i den ellevte runde af NFL Draft 1957. Efter at have spillet både quarterback og defensiv tilbage på college, gjorde Colts ham til en defensiv spiller. Nelson startede 12 kampe sin rookie sæson, med 5 interceptions for 29 yards. I den følgende sæson, Nelson ville registrere 8 opfangninger for 199 yards og 1 touchdown. Colts ville fortsætte med at vinde NFL Championship i hvad der var NFL's første pludselige død overtidsspil og er siden blevet bredt kendt som "The Greatest Game Ever Played". Colts ville gentage i 1959
Og i løbet af sin syv-årige karriere med Colts, Nelson ville rack op 33 samlede opfangninger for 378 yards og 3 touchdowns. Colts byttede Nelson til New York Giants for 1964 sæsonen, hans sidste i NFL.