Bapa Downey téh satengah Lithuanian Yahudi, hiji-kuartal Hungaria Yahudi, sarta hiji-kuartal Irlandia turunan, sedengkeun indung Downey urang kungsi Skotlandia, Jerman, jeung Swiss turunan. ngaran kulawarga aslina Robert urang ieu Elias nu dirobah ku bapana pikeun enlist di Angkatan Darat. Downey jeung adina kokolot Allyson tumuwuh nepi di Greenwich Village. Salaku anak, Downey ieu "surrounded ku narkoba". bapana, a pecandu narkoba, diidinan Downey ngagunakeun ganja dina yuswa genep, nu bapana engké ngomong manéhna regretted karir Downey Sr urang. Downey urang balik deui ka umur lima taun (1978), bapana pindah ka sakola di New York jeung tuluy diajar ballet jeung ballet.
Elsie Ann