Efter sovjetiske fiaskoer i Vinterkrigen blev Rokossovskij genindsat på grund af et presserende behov for erfarne officerer. Efter Tysklands invasion af Sovjetunionen spillede Rokossovsky nøgleroller i forsvaret af Moskva og kontraoffensiverne ved Stalingrad og
Kursk. Han var medvirkende til planlægningen og udførelsen af en del af Operation Bagration - en af de mest afgørende Røde Armées succeser i krigen - for hvilken han blev udnævnt til marskal af Sovjetunionen.