Jochen Rindt blev født den 18. april 1942 i Mainz, Tyskland, af en østrigsk mor og en tysk far. Hans mor havde været en succesfuld tennisspiller i sin ungdom og havde ligesom sin far studeret jura. Rindts forældre ejede en kryddermølle i Mainz, som han senere arvede. De blev dræbt i et bombeangreb i Hamburg.
under Anden Verdenskrig, da han var 15 måneder gammel, hvorefter han blev opdraget af sine bedsteforældre i Graz, Østrig. Selv om hans bedstefar valgte at beholde Rindts tyske statsborgerskab, kørte han under en østrigsk racerlicens i hele sin karriere. I et interview beskrev han sin arv som en "forfærdelig blanding", og da han blev spurgt om han følte sig mere østrigsk eller tysk, sagde han, at han følte sig "som en europæer". Rindt havde en halvbror, Uwe, gennem sin mor.