Han forsøgte at flygte i december 1943 ved at glide ud af bruseblocken en tåget morgen, og krydsede derefter Tyskland iført sin fulde britiske flådeuniform, men med forfalskede papirer, der identificerede ham som "I. Bagerov" fra
Den bulgarske flåde. Dette navn blev valgt som en joke, så når han blev spurgt, hvem han var, ville han svare "Bugger off". James nåede så langt som til havnen i Lübeck og havde taget kontakt med besætningen på et svensk skib, der var villig til at smugle ham ud af landet, før han blev arresteret og vendte tilbage til lejren. Hans anden flugt i slutningen af 1944 brugte den samme metode, idet han stolede på de korrupte dusj-blok vagter til ikke at rapportere deres egen korte antal. Jakob drog igen til Østersøen og gav sig ud for at være handelsmand, og denne gang nåede han til Sverige.