Tulis kelanjutan untuk paragraf ini - Rifkind pertama kali berdiri untuk Parlemen, tidak berhasil, pada tahun 1970 di Edinburgh Central konstituensi. Ia masuk Parlemen pada pemilihan umum Februari 1974 mewakili Edinburgh Pentlands untuk Partai Konservatif dan Unionis Skotlandia. Selama pemilihan kepemimpinan pada tahun 1975, ia mendukung Edward Heath di putaran pertama tetapi ketika Heath menarik diri, Rifkind memilih Margaret Thatcher. Thatcher, setelah menjadi pemimpin, menunjuk Rifkind sebagai juru bicara front-bench Oposisi untuk Urusan Skotlandia. Dia kemudian mengundurkan diri dari posisi itu (bersama dengan Sekretaris Skotlandia Bayangan, Alick Buchanan-Smith) sebagai protes atas keputusan Kabinet Bayangan untuk memilih menentang RUU Pemerintah untuk Majelis Skotlandia. Rifkind berpendapat bahwa, pada saat itu, Partai Konservatif mendukung prinsip Majelis Skotlandia, akan lebih disukai untuk memilih Pembacaan Kedua RUU atau untuk abstain, dan mencoba untuk memperbaiki RUU. Dalam referendum berikutnya pada Majelis Skotlandia
, Rifkind memilih untuk mendukung, tetapi menarik dukungannya ketika hasil referendum menunjukkan Skotlandia hampir sama-sama terbagi atas proposal.