Po przejściu Partii Pracy do opozycji Robens nadal awansował w partyjnej hierarchii. W 1955 r. został ministrem spraw zagranicznych w gabinecie cieni Clementa Attleego. W 1955 r. wystartował w wyborach na lidera laburzystów, ale przegrał z Hugh Gaitskellem. W 1956 r. utracił urząd ministra spraw zagranicznych. W 1960 r. konserwatywny premier Harold Macmillan zaproponował Robensowi stanowisko przewodniczącego Narodowej Rady Węgla (National Coal Board, NCB), na co Robens się zgodził.
Wraz z nominacją na przewodniczącego NCB w 1961 r. Robens otrzymał dożywotni tytuł parowski baron Robens of Woldingham i zasiadł w Izbie Lordów. Na stanowisku przewodniczącego realizował rządowe cięcia w wydatkach na przemysł wydobywczy. W 1966 r. doszło do katastrofy w Aberfan, gdzie usunięcie ziemi spowodowane tąpnięciem w kopalni zabiło 116 dzieci i 28 dorosłych. Robens pojawił się na miejscu katastrofy dopiero następnego dnia, gdyż wcześniej odbierał nominację na kanclerza Uniwersytetu Surrey. Odmówił też pokrycia kosztów usunięcia zniszczeń ze środków NCB. Śledztwo uznało, że winą za katastrofę należy obarczyć NCB za jego niedopatrzenia. Robens złożył wówczas dymisję ze stanowiska, ale nie została ona przyjęta. Pozostał więc na czele NCB do 1971 r.