Napisati nadaljevanje za ta odstavek - Rifkind je prvič stopil v parlament, neuspešno, leta 1970 v Edinburgh Central volilnem okrožju. V parlament je vstopil na splošnih volitvah februarja 1974, ko je zastopal Edinburgh Pentlands za škotsko konzervativno in unionistično stranko. Med vodstvenimi volitvami leta 1975 je v prvem krogu podprl Edwarda Heatha, ko pa se je Heath umaknil, je Rifkind glasoval za Margaret Thatcher. Thatcher, ko je postala vodja, je imenovala Rifkinda za predstavnika opozicije za škotske zadeve. Kasneje je odstopil s tega položaja (skupaj s škotskim tajnikom v senci Alickom Buchanan-Smithom) v protest proti odločitvi senčnega kabineta, da glasuje proti vladnemu predlogu zakona o škotskem zborovanju. Rifkind je trdil, da bi bilo, ker je takrat Konzervativna stranka podprla načelo škotske skupščine, bolje bodisi glasovati za drugo obravnavo predloga zakona bodisi se vzdržati in poskusiti izboljšati predlog zakona. V naslednjem referendumu o škotskem parlamentu
Rifkind je glasoval za, vendar je umaknil svojo podporo, ko je rezultat referenduma pokazal, da je Škotska skoraj enako razdeljena glede predloga.