W 1929 ufundował ze swoich prywatnych środków istniejącą do dziś inicjatywę nazwaną Lord Somers Camp (Obóz Lorda Somersa), w ramach której młodzi australijscy chłopcy (od 1986 także dziewczęta) spędzają tydzień wakacji na zajęciach rozwijających ich sprawność fizyczną oraz umiejętności przywódcze i społeczne. Po zakończeniu jego kadencji w Australii, co miało miejsce w 1931, pozostał zaangażowany w sprawy młodzieży, a zwłaszcza w ruch skautingowy (harcerski). W latach 1941–1944 był naczelnym skautem Wielkiej Brytanii, zgodnie z życzeniem zmarłego Roberta Badena-Powella, który widział lorda Somersa w roli swego następcy na czele stworzonej przez siebie organizacji.
Od 1933 zajmował ceremonialny urząd Lorda Namiestnika Herefordshire. W latach 1940 i 1941 był przedstawicielem Czerwonego Krzyża w Egipcie. Przez całe życie był też bardzo zaangażowany w rozgrywki krykieta, początkowo jako zawodnik, a w późniejszych latach życia jako wysokiej rangi działacz sportowy.
Choroba i śmierć W ostatnich latach życia zmagał się z rakiem gardła.