I 1080 blev far og søn genforenet ved dronning Matildas indsats, og en våbenhvile varede indtil hun døde i 1083. Robert synes at have forladt hoffet kort efter sin mors død og tilbragte flere år med at rejse gennem Frankrig, Tyskland og Flandern. Han besøgte Italien for at søge den store arving Matilda af Toscana (f. 1046) men var mislykket. I løbet af denne periode som en vandrende ridder fik Robert flere uægte børn. Hans bastard søn Richard synes at have tilbragt meget af sit liv ved sin onkel Vilhelm Rufus' kongelige hof. Denne Richard blev dræbt i en jagtulykke i New Forest i 1099, ligesom hans onkel, kong Vilhelm Rufus, det næste år. En uægte datter blev senere gift med Helias af Saint-Saens.
Helias af Saint-Saens