Heller lahir pada tanggal 1 Mei 1923 di Coney Island di Brooklyn, New York, anak dari orang tua Yahudi miskin, Lena dan Isaac Donald Heller, dari Rusia. Bahkan sebagai seorang anak, ia suka menulis; sebagai seorang remaja, ia menulis sebuah cerita tentang invasi Rusia ke Finlandia
dan mengirimnya ke New York "Daily News", yang menolaknya. Setelah lulus dari Sekolah Menengah Abraham Lincoln pada tahun 1941, Heller menghabiskan tahun berikutnya bekerja sebagai magang pandai besi, anak kurir, dan pegawai pengajuan.