I marts 1938 indtrådte tyske tropper i Østrig, hvilket blev efterfulgt af en hurtig integration, der gav anledning til et "Større Tyskland", der indlemmede de to hidtil adskilte stater. Nogle få dage efter at hæren var ankommet fra vest blev Franz Rauscher arresteret af Gestapo, men han blev løsladt en uge senere. Han fandt et job hos FBI. Men i 1939 blev han igen arresteret af Gestapo. Denne gang blev han overført til koncentrationslejren i Buchenwald, hvor han blev tilbageholdt i seks år. Under Anden Verdenskrig, der i denne del af Europa varede fra 1939 til 1945, blev han på et tidspunkt overført til Majdanek-koncentrationslejren i det besatte Polen
- Hvad? Kort før krigen sluttede, blev han enten befriet af den Røde Hær eller formåede at flygte fra koncentrationslejren, da statsinfrastrukturen i Nazityskland kollapsede. Han rejste tilbage til Østrig og ankom til Salzburg den 14. april 1945. De sovjetiske og vestlige regeringer havde allerede erklæret Tysklands sammenlægning med Østrig i 1938 for ugyldig, og inden for to uger efter Rauschers ankomst til grænsen ved Salzburg havde en hastigt samlet i Wien, under kansler Renner, forudset landets nye herres krav med et underskrevet af lederne af de tre vigtigste politiske partier (herunder socialdemokraterne) den 27. april 1945.