Poza Janem Jerzym para nie doczekała się kolejnych dzieci i w stanie bezdzietnym żyła do 1777 roku, kiedy Teresa porzuciła Hylzena dla Szymona Kossakowskiego. Po rozwodzie podpisanym 24 maja w Warszawie Józef Jerzy drugi raz się nie ożenił, a jedynym spadkobiercą Hylzenów został Idzi, syn Justyniana Hylzena i Katarzyny Działyńskiej. Idzi jednak od narodzin był niepełnosprawny umysłowo i umarł w młodzieńczym wieku (1800), a wraz z jego śmiercią ród w linii męskiej wygasł.
Twórczość Dzienniki Hylzen pozostawił po sobie dwa obszerne dzienniki pisane w latach 1752–1754 oraz 1754–1759. Pierwszy z nich, Diarium a discessu meo Gedano Viennam 1752 15 septembris, to typowy dla epoki szlachecki diariusz podróży edukacyjnej. Pisany na bieżąco jako rezultat własnych przemyśleń i kronika codziennych wydarzeń (dzisiaj określany mianem dziennika intymnego) dokument przynosi dokładną relację z podróży Józefa Jerzego przez kraje Cesarstwa (Austria, Bawaria), Królestwo Francji (Paryż, Strasburg), Niderlandy (Bruksela, Amsterdam) i Prusy (Berlin). Drugi z dzienników to Kontynuacja diariusza od roku 1754 m[iesią]ca augusta 25 dnia we Gdańsku – barwny obraz początków kariery magnackiej, stawiania pierwszych kroków w działalności publicznej i aktywności towarzyskich Hylzena od powrotu z zagranicy do 1759 roku.