W 1752 roku poślubił Ludwikę Magdalenę Urszulę Tworzyańską (1735–1779), córkę kasztelana przemęckiego Jana Tworzyańskiego (zm. 1765). Z małżeństwa urodziło się sześcioro dzieci: Jadwiga (zm. 1761), Jan Nepomucen (1764–1791), Władysław (1769–1818), Rozalia (zm. 1792) i Weronika (zm. 1783). Córka Rafała, Melchiora Katarzyna Józefa Gurowska poślubiła generała ziemiańskiego i starostę inowrocławskiego Kazimierza Albina Sokołowskiego. Jeden z synów Jan Nepomucen (1764–1791) odznaczał się gwałtownym charakterem. Za zabójstwo pułkownika Bolesza został skazany na banicję. Uzyskał tytuł hrabiego od króla pruskiego Fryderyka Wilhelma II dnia 5 listopada 1787 roku.
Pełnione urzędy W młodości oficer wojska francuskiego. Walczył pod Fontenoy (1745). Pełnił obowiązki starosty kolskiego (1745) oraz brdowskiego (1758). Czterokrotnie piastował urząd kasztelana, w różnych miastach Polski. Był członkiem konfederacji generalnej 1764 rokuKonfederacya Generalna Koronna Po doszłym Seymie Convocationis Zaczęta w Warszawie Dnia 23. Czerwca Roku Pańskiego 1764. Ręką J. O. Xcia Jmci Prymasa Korony Polskiey [...] Stwierdzona, [b.n.s].