Po porazu konzervativcev na volitvah februarja 1974 je postal senčni državni sekretar za Škotsko pod Edwardom Heathom. Ko je Margaret Thatcher nasledila Heath kot vodja konzervativcev, je The Glasgow Herald poročal o špekulacijah, da je Buchanan-Smith ena od skupine "vrhunskih toryjcev", ki bi morda zavrnili služenje pod njo. Nazadnje je ostal na položaju pod Thatcherjevo, vendar je odstopil leta 1976, skupaj s svojim mlajšim senčnim ministrom Malcolmom Rifkindom, ko je spremenila politiko Konservativne stranke, da bi nasprotovala škotski devoluciji. Kasneje je vodil konzervativni prispevek k kampanji za "Da" na škotskem referendumu leta 1979.
-Kaj?