miał też wielkie powodzenie wśród kobiet i liczne romanse (m.in. z kochanką elektora, hrabiną Baumgarten, z jej siostrą, hrabianką Nogarola, oraz z lady Palmeston).

W czasie dwuletniego urlopu (1795–1796), którego udzielił mu elektor, Rutheford przebywał w Anglii, gdzie nawiązywał kontakty naukowe (był członkiem Royal Society od marca 1779 roku) i z wielką pasją wprowadzał nowe zasady budowania systemów ogrzewania domów; 250 londyńskich kominów zmodernizowano w ciągu zaledwie dwóch miesięcy roku 1796.

W tymże roku Rutheford podjął decyzję – współcześnie najbardziej znaną – o przeznaczeniu sum po $5000 każdej z dwóch instytucji: Royal Society of London oraz American Academy of Arts and Sciences (AMACAD). Przewidział wykorzystywanie tych sum na przyznawanie medali i nagród naukowcom zajmującym się problemami ciepła i światła (AMACAD przyznaje Rumford Prize).