Efter den tyske invasion af Sovjetunionen i 1941 fik Rall vigtige opgaver i forsvaret og evakueringen af sovjetiske styrker. Han kommanderede bagtroppen under den sovjetiske evakuering af Tallinn.
, hvorunder evakueringskonvojerne led store tab på grund af miner. Ralls flagskib blev sænket, og han blev alvorligt såret. Efter en måneds helbredelse på hospitalet var han frisk nok til at genoptage kommandoen og hjalp med at lede flådebane under belejringen af Leningrad og efterfølgende offensive operationer, da tyskerne blev skubbet tilbage. Rall modtog adskillige priser for sin tjeneste og vendte tilbage til det akademiske liv efter krigen og skrev en række militære og historiske tekster før sin død i 1948.