Po powrocie laburzystów do władzy w 1974 r. został członkiem gabinetu jako minister energii. Na tym stanowisku rozpoczął prywatyzację North Sea Oil oraz rozstrzygnął przetarg na budowę elektrowni jądrowych na korzyść firm brytyjskich. W referendum dotyczącym przystąpienia Wielkiej Brytanii do Wspólnego Rynku w 1975 r. nawoływał do głosowania na "Nie". W tym samym roku objął tekę ministra przemysłu. W listopadzie 1976 r. Varley postanowił zlikwidować nieprzynoszącą zysków fabrykę samochodów Chryslera, jednak pod presją gabinetu musiał zwiększyć wydatki, aby nie doprowadzić do zamknięcia fabryki.
Na stanowisku ministra przemysłu pozostawał do wyborczej porażki laburzystów w 1979 r. Związany z prawym skrzydłem partii prowadził kampanię Denisa Healeya na lidera laburzystów w 1980 r. Jego kandydat przegrał jednak z Michaelem Footem. W 1981 r. Varley pokonał kandydata lewego skrzydła partii, Normana Atkinsona, w wyborach na skarbnika Partii Pracy. Pozostał na tym stanowisku do 1983 r., kiedy to po wyborczej porażce Partii Pracy i rezygnacji Foota nowym liderem został Neil Kinnock. Varley ogłosił wówczas swój zamiar rezygnacji z miejsca w Izbie Gmin.