Milnor blev født den 20. februar 1931 i Orange, New Jersey. Hans far var J. Willard Milnor og hans mor var Emily Cox Milnor. Som en bachelor ved Princeton University blev han udnævnt til Putnam Fellow i 1949 og 1950 og beviste også Fary <unk> Milnor teorem. Han fortsatte med at gå på graduate school på Princeton under ledelse af Ralph Fox og indsendte sin afhandling med titlen "Isotop of Links", som vedrørte link grupper (en generalisering af den klassiske knude gruppe) og deres tilknyttede link struktur, i 1954. Efter at have afsluttet sin doktorgrad gik han på arbejde på Princeton. Han var professor ved Institute for Advanced Study fra 1970 til 1990.
Orange, New Jersey