Podczas swojej pierwszej kadencji sprawował różne pomniejsze stanowiska w rządzie Edwarda Heatha. Został jednak wiceprzewodniczącym partii. Po reelekcji również zajmował mniej ważne stanowiska. Był lordem skarbu w latach 1981–1983, podsekretarzem stanu w ministerstwie zatrudnienia w 1983 r., ministrem stanu w tymże resorcie w 1985 r., Paymaster-General w latach 1984–1985, ministrem stanu w ministerstwie rolnictwa, rybołówstwa i żywności w latach 1985–1988 i ministrem stanu ds. samorządu lokalnego w latach 1988–1989 r. W latach 1983–1985 był również przewodniczącym Partii Konserwatywnej.
Członkiem gabinetu został dopiero w 1989 r., kiedy Margaret Thatcher powołała go na stanowisko ministra rolnictwa, rybołówstwa i żywności. Następca Thatcher, John Major, pozostawił go na tym stanowisku do 1993 r., kiedy powierzył mu kierowanie resortem środowiska. Na tym stanowisku wprowadził pierwszy w Wielkiej Brytanii podatek ekologiczny.
Po wyborczym zwycięstwie Partii Pracy w 1997 r. Gummer zasiada w tylnych ławach parlamentu. Jest przewodniczącym międzypartyjnej grupy ds. architektury i planowania. Pisuje również do Catholic Herald.