Rudin blev født i en jødisk familie i Østrig i 1921. De flygtede til Frankrig efter Anschluss i 1938. Da Frankrig overgav sig til Tyskland
I 1940 flygtede Rudin til England og tjente i Royal Navy resten af Anden Verdenskrig, hvorefter han rejste til USA. Han opnåede både sin B.A. i 1947 og Ph.D. i 1949 fra Duke University. Efter sin ph.d., var han C.L.E. Moore instruktør på MIT. Han underviste kortvarigt ved University of Rochester, før han blev professor ved University of Wisconsin-Madison, hvor han forblev i 32 år. Hans forskning interesserede varierede fra harmonisk analyse til kompleks analyse.