Et år senere havde krigen taget en anden drejning, og Brooke mente ikke længere, det var nødvendigt at blive ved Churchills side. Han havde derfor glædet sig til at overtage kommandoen over
Allierede invasionen af Vesteuropa, en post Brooke troede, han havde fået lovet af Churchill ved tre lejligheder. Under den første Quebec-konference i august 1943 blev det besluttet, at kommandoen skulle gå til general George Marshall. (Selvom Marshalls arbejde som stabschef for den amerikanske hær var for vigtigt for ham til at forlade Washington DC, og Dwight D. Eisenhower blev udnævnt i stedet.) Brooke var bittert skuffet, både over at blive overset og over den måde, hvorpå beslutningen blev formidlet til ham af Churchill, som ifølge Brooke "behandlede sagen, som om det var en af mindre betydning".