Skriv en fortsættelse til dette afsnit - Rifkind stillede for første gang op til Europa-Parlamentet, uden held, i 1970 i Edinburgh Central valgkreds. Han kom ind i parlamentet ved valget i februar 1974 som repræsentant for Edinburgh Pentlands for det skotske konservative og unionistiske parti. Under ledervalget i 1975 støttede han Edward Heath i første runde, men da Heath trak sig tilbage, stemte Rifkind på Margaret Thatcher. Da Thatcher blev leder, udnævnte han Rifkind til oppositionsordfører for skotske anliggender. Han trådte efterfølgende tilbage fra denne stilling (sammen med den skotske skygge-sekretær, Alick Buchanan-Smith) i protest mod skygge-kabinettets beslutning om at stemme imod regeringens lovforslag om en skotsk forsamling. Rifkind hævdede, at da det konservative parti på det tidspunkt støttede princippet om en skotsk forsamling, ville det have været at foretrække enten at stemme for andenbehandling af lovforslaget eller at undlade at stemme og forsøge at forbedre lovforslaget. I den efterfølgende folkeafstemning om en skotsk forsamling
, Rifkind stemte for, men trak sin støtte tilbage, da resultatet af folkeafstemningen viste, at Skotland var næsten ligeligt opdelt over forslaget.