Efter Jochen Rindts kontrakt med Lotus i 1969 skiftede Oliver til BRM. Han skulle lide skuffende to år på Bourne holdet, som effektivt ville dræbe hans Grand Prix karriere. I løbet af to år, ville han samle kun fire mål, med hans eneste point scorer at være sjette plads i 1969 Mexican Grand Prix, og femte i 1970 Østrig Grand Prix
- Hvad? I 1970 førte han dog en stor del af Race of Champions, hvor han holdt Stewart tilbage og var en stærk tredjeplads i de fleste af de hollandske og britiske GP. Det dårlige resultat i den østrigske GP, som teamchef Louis Stanley mente, at han skulle have vundet, så den bedste bil gå til Pedro Rodríguez fra da af, men Oliver førte stadig nogle omgange på det italienske løb. Stanley beskrev Oliver som "god, men ikke så god, som han troede". De fleste af hans andre racer så BRM bryde sammen. De fleste pundits og sponsor, Yardley, blev overrasket og skuffet efter Oliver blev fyret af BRM. Jackie Stewart, vurderede Oliver som en meget god GP og Can-Am-kører.