Polityka Podobnie jak swój ojciec, był zwolennikiem króla Jerzego II Hanowerskiego i królowej Karoliny, stając po ich stronie przeciw ich synowi, Fryderykowi, księciu Walii, o którym pisał złośliwie w swoich wspomnieniach. Był też częstym gościem na Boyl Farm w Thames Ditton, gdzie poznał Boyle-Walsinghamów oraz lorda Hertforda. Ojciec został hrabią Orford w 1742 roku. Starszy brat, 2. hrabia Orford (1701–1751), przekazał tytuł synowi, 3. hrabiemu Orford (1730–1791). Kiedy ten zmarł nie wstępując w związek małżeński, Horace Walpole otrzymał tytuł 4. hrabiego Orford.
Życie prywatne Przedmiotem różnych spekulacji była orientacja seksualna Walpole’a. Nigdy nie był żonaty, choć zaangażowany w szereg nieskonsumowanych flirtów z wolnymi stanem kobietami. Do bliskich mu osób zaliczano rzeźbiarkę Anne Seymour Damer (1749–1828) i pisarkę Mary Berry (1763–1852), którą niektóre źródła określały jako lesbijkęNorton 2003.. Wiele ówczesnych osób określało go jako zniewieściałegoLangford 2004.. Historyk architektury, Timothy Mowl, w jego biografii Horace Walpole: The Great Outsider zakładał, że Walpole był zdeklarowanym homoseksualistą i wnioskował, że miał on romans z Thomasem Grayem podczas ich wspólnej podróży, porzuciwszy go następnie dla lorda LincolnaHillier, 1996..