Gummer var parlamentarisk privatsekretær for ministeren for landbrug i Edward Heaths regering, før han blev udnævnt til viceformand for det konservative parti - en stilling, han beklædte indtil regeringens fald i 1974. Efter sin tilbagevenden til Parlamentet ved valget i 1979 beklædte han forskellige regeringsposter og var formand for det konservative parti fra 1983 til 1985 - et embede, han havde på tidspunktet for bombningen af Brighton-hotellet
Under den konservative partis konference i 1984. Han blev indsat i regeringen i 1989 som minister for landbrug, fiskeri og fødevarer og blev statssekretær for miljø under John Major i 1993.