Under den tyske invasion af Sovjetunionen i 1941 blev Rall udnævnt til kommandør for den østlige defensive position den 25. juni og overvågede installationen af kystbatterier på øerne Bolshoy Tyuters og Lavensaari og udlægningen af minefelter i Finlandsbugten. Han fik derefter til opgave at deltage i den komplicerede operation for at evakuere skibene i Østersøflåden fra belejret Tallinn
Og bringe dem til Kronstadt. Rall fik kommandoen over bagtroppen. Med tre mulige evakueringsruter, rådede Rall med at tage den sydligste. Selv om dette passerede gennem lavvand og langs 200 miles af besat kystlinje med fjendens kystbatterier, påpegede Rall, at kystbatterierne hovedsageligt bestod af lette feltkanoner, som let kunne undertrykkes af sovjetisk flådeartillerie, og at 200 skibe havde gjort passagen uden besvær. Rådgivningen blev afvist af marskal Kliment Voroshilov, kommandør for Leningradfronten, som, bekymret for muligheden for lettiske og estiske besætninger og endda sovjetiske søfolk, der overløber til fjenden, beordrede Rall og hans overordnede admiral Vladimir Tributs til at tage den midterste rute, på trods af at den var tungt mineret af fjendtlige styrker. Evakueringskonvojerne fik snart store tab på grund af miner og luftangreb. Ralls flagskib, destroyeren "Kalinin", ramte en mine og begyndte at synke. Destroyeren "Volodarskiy" kom ved siden af for at tage besætningen af, men ramte også en mine og sank. Rall, der var såret og havde hjernerystelse, blev taget om bord på en cutter. Han blev til sidst bragt tilbage til Kronstadt sammen med de overlevende fra evakueringsstyrken. Mens den sovjetiske ledelse hævdede en sejr i at evakuere en række tropper og flygtninge, bemærkede Rall, at det havde været en "Anden Tsushima", med henvisning til det tunge nederlag i slaget ved Tsushima under den russisk-japanske krig.