Hans far, Robert Federer, er en schweizisk-tysk fra Berneck i kantonen St. Gallen, og hans mor, Lynette Federer (født Durand), er en afrikaner fra Kempton Park, Gauteng, i Sydafrika. Federer har en søster, hans ældre søster, Diana, som er mor til et par tvillinger. Da hans mor er sydafrikansk, har han både schweizisk og sydafrikansk statsborgerskab. Han voksede op i det nærliggende Birfelsden, Riehen, og derefter Münchenstein, tæt på de franske og tyske grænser, og han taler schweizisk tysk, standardtysk, engelsk og fransk flydende, samt funktionelt italiensk og svensk; schweizisk tysk er hans modersmål.
Lynette