Stallman lahir tanggal 16 Maret 1953, di New York City, ti kulawarga Yahudi. Kolotna nyaéta Alice Lippman, saurang guru sakola, jeung Daniel Stallman, saurang calo percetakan. Stallman miboga hubungan anu hésé jeung kolotna, sabab bapana boga kabiasaan nginum alkohol sarta sacara lisan nyiksa indungna. Anjeunna engkéna ngajelaskeun kolotna salaku "tiran". Anjeunna resep kana komputer dina umur ngora; nalika Stallman pre-teen di hiji kamp usum panas, anjeunna maca manual pikeun IBM 7094. Ti 1967 nepi ka 1969, Stallman ngahadiran program Sabtu Universitas Columbia pikeun siswa SMA. Stallman ogé janten asistén laboratorium sukarelawan di jurusan biologi di Rockefeller University. Sanajan anjeunna resep ngajar matematika jeung fisika, profesorna di Rockefeller mikir anjeunna nyéépkeun waktos salaku ahli biologi.
departemén biologi di Rockefeller University