Under Operation Bagration, den generelle modangreb i Hviderusland, koordinerede Vasilevskij offensiverne på 1. baltiske og 3. hviderussiske fronter. Da de sovjetiske styrker trådte ind i de baltiske stater, påtog Vasilevsky sig det fulde ansvar for alle de baltiske fronter og afviste den 3. hviderussiske. Den 29. juli 1944 blev han udnævnt til Helt af Sovjetunionen for sine militære succeser. I februar 1945 blev Vasilevskij igen udnævnt til kommandør for 3. hviderussiske front for at lede den østpreussiske operation, og efterlod posten som generalstabschef til Aleksei Antonov. Som frontkommanderende ledte Vasilevskij den østpreussiske operation og organiserede angrebene på Königsberg og Pillau. Han forhandlede også om overgivelsen af Königsberg-garnisonen med dens kommandant, Otto Lasch. Efter krigen hævdede Lasch, at Vasilevsky ikke respekterede de garantier, der blev givet under byens kapitulation. Vasilevskij lovede, at tyske soldater ikke ville blive henrettet, at fanger, civile og sårede ville blive behandlet anstændigt, og at alle fanger ville vende tilbage til Tyskland efter krigens afslutning. I stedet forblev Lasch i fængsel i 10 år og vendte først tilbage til Tyskland i 1955, ligesom mange af Wehrmachts soldater og officerer, mens hele den tyske befolkning blev udvist fra Østpreussen.
- Hvad? For de strålende succeser ved Königsberg og i Østpreussen blev Vasilevskij tildelt sin anden sejrsorden.