Efter Operation Barbarossa, den tyske invasion af Sovjetunionen, begyndte den 22. juni 1941, kæmpede Yermolkin på den sydvestlige front med sin enhed. Som en del af den 26. armé begyndte divisionen og dens korps krigen i området Drogobych. Under Border Battles den 25. juni 1941 som en del af korpset divisionen lanceret et modangreb
i området Brody og Dubno, og derefter i hård kamp trak sig tilbage mod Proskurov og Vinnytsia. Den daværende major Yermolkin blev såret af en granatsplinter under kampene i området omkring Radzivilov den 28. juni. I august under slaget om Kijev blev han udnævnt til kommandør for 300th Motor Rifle Regiment of the 7th Motorized Division, der førte det i hårde kampe syd for Kijev som en del af 26. hær. Yermolkin blev fanget i en omringning i september, men formåede at vende tilbage til de sovjetiske linjer i oktober, hvorefter han modtog kommandoen over 680th Rifle Regiment af 169th Rifle Division, der var engageret i hårde kampe som en del af 38. armé på den sydvestlige front i Volchansk-regionen. Fra december kommanderede han det 584. rifleregiment i hærens 199. I juli 1942 blev Yermolkin næstkommanderende for hærens 304. Rifle Division under Donbass Defensive operation.