I 1096 dannede Robert en hær og rejste til Det Hellige Land på det første korstog. På tidspunktet for sin afrejse var han angiveligt så fattig, at han ofte måtte blive i seng på grund af mangel på tøj. For at skaffe penge til korstoget pantsatte han sit hertugdømme til sin bror Vilhelm for 10.000 mark.
Mangel på tøj