Skriv en fortsættelse til dette afsnit - Tidligt i sin karriere trænede Nielsen i Finland, som var det førende land i langdistance løb på det tidspunkt, og lærte af finske løbere. Han vandt sin første danske mesterskabstitel på 5000 m i 1930. Nielsen slog verdensrekorden på 3000 m i Stockholm den 25. juli 1934; han mødte polen Janusz Kusociński, der havde den tidligere rekord på 8:18.8, og besejrede ham. Nielsens vindende tid var 8:18.3; som verdensrekord blev den officielt ratificeret som 8:18.4, da IAAF's regler krævede, at tider på afstanden skulle afrundes op til den næste femtedel af et sekund. Senere samme år vandt Nielsen bronze i 10.000 m ved det første europæiske mesterskab.
i Torino, hvor han kun tabte til Finlands Ilmari Salminen og Arvo Askola; han var Danmarks eneste medaljevinder i mødet.