Heller se je rodil 1. maja 1923 na Coney Islandu v Brooklynu v New Yorku, sin revnih judovskih staršev, Lene in Isaaca Donalda Hellerja iz Rusije. Že kot otrok je rad pisal; kot najstnik je napisal zgodbo o ruski invaziji na Finsko.
Poslal sem ga New York Daily News, ki ga je zavrnil. Po diplomi iz srednje šole Abraham Lincoln leta 1941 je Heller naslednje leto delal kot kovačev vajenc, kurir in pisar.