Spencer był również dwukrotnie Lordem Namiestnikiem Irlandii w latach 1868–1874 i 1882–1885. W Irlandii wspierał politykę rządu Gladstone’a, który chciał wprowadzić na wyspie system rządów Home Rule. Zwalczał również przestępczość w Irlandii oraz działania nacjonalistów, co spowodowało, że przez tych ostatnich stał się szczególnie znienawidzony. W 1882 r. jego dwaj sekretarze lord Frederick Cavendish i Thomas Henry Burke zostali zasztyletowani w dublińskim parku Phoenix przez radykalnych nacjonalistów.

W administracji Spencera w Irlandii znalazło się wielu homoseksualistów, co spowodowało, że jeden z deputowanych do Izby Gmin nazwał administrację zamku dublińskiego „Sodomą i Gomorą”.

8 lipca 1858 r. w St James’s w Londynie, poślubił Charlotte Frances Frederickę Seymour (28 września 1835 – 31 października 1903), córkę Fredericka Seymoura i lady Augusty Hervey, córki 1. markiza Bristol. Małżeństwo to nie doczekało się potomstwa.