Władysław Komar se je rodil 11. aprila 1940 v Kaunasu v Litvi v družini Władysław Komar-Zabożyński in Wanda Jasińska. Kot poljska plemiška družina so imeli dvor v Rogówku (litvansko Raguvėlė). Oba starša sta bila športnika. Oče je tekmoval za Litvo kot Vladas Komaras na evropskem prvenstvu v atletiki leta 1934.
v skoku v višino in 110 metrov s ovirami, mama je bila metalka, ki je postavila nacionalni rekord v zgodnjih tridesetih letih. Med drugo svetovno vojno se je družina preselila v Gulbiny (Litovščina: Didieji Gulbinai). Njegovega očeta, ki je med vojno pomagal poljski protigermanski uporniški gibanju, domovinski vojski, je leta 1944 v Glitiškesi umorila skupina Ypatingasis būrys milice.