Hans far, Robert Downey Sr., er en skuespiller og filmskaber, mens hans mor, Elsie Ann (født Ford), var en skuespillerinde, der optrådte i Downey Sr.'s film. Downeys far er af halvlet litauisk jødisk, en fjerdedel ungarsk jødisk og en fjerdedel irsk afstamning, mens Downeys mor havde skotske, tyske og schweiziske forfædre. Robert's oprindelige familienavn var Elias, som blev ændret af hans far til at tilmelde sig hæren. Downey og hans ældre søster Allyson voksede op i Greenwich Village. Som barn var Downey "omgivet af stoffer".
Elsie Ann