Allenova starša sta se rodila in odraščala na spodnjem vzhodu Manhattna. Njegov otroštvo ni bilo srečno; njegovi starši se niso razumeli, imel je težavno razmerje s svojo materjo, ki je govorila nemško. V zgodnjih letih je živel v Midwoodu v Brooklynu. Bil je sin Nettie (rojenca Cherry; 8. november 1906 <unk> 27. januar 2002), knjigovodje v družinski trgovini, in Martina Konigsberga (25. december 1900 <unk> 8. januar 2001), draguljarja in natakarja. Njegova družina je bila judovska, njegovi stari starši pa so se iz Rusije in Avstrije preselili v ZDA in govorili jidiš, hebrejščino in nemško.
Martin Konigsberg