Jan August oraz Konstancja oprócz Józefa Jerzego doczekali się trójki potomstwa: Justyniana, Anny Rozalii oraz nieznanej z imienia córki.
Józef Jerzy prawdopodobnie urodził się i wychował w położonej na granicy powiatu dyneburskiego i rzeżyckiego rodowej Dagdzie. Kiedy skończył trzynaście lat, ojciec zaprezentował go publicznie podczas promocji oraz dysputy filozoficznej akademików Uniwersytetu Wileńskiego w całości dedykowanej Józefowi Jerzemu. Edukacją Hylzena w pierwszym etapie kierował wykształcony i światły ojciec, a od 1750 roku Karol Wyrwicz. W jego towarzystwie Józef Jerzy w 1752 roku wyruszył w zagraniczną podróż. Po dotarciu do Wiednia od 28 października 1752 roku uczył się historii, filozofii, retoryki, matematyki i architektury w tamtejszym Collegium Theresianum. Po zdaniu egzaminów i opuszczeniu szkoły, w maju 1753 roku udał się do Paryża. W stolicy Francji uczęszczał na Akademię Francuską (gdzie fascynował się wykładami Jeana-Antoine’a Nolleta) oraz uczył się prywatnie jazdy konnej, szermierki, tańca, rysunku czy gry na flecie. W przerwach od zajęć zwiedzał kościoły, ogrody, pałace, kawiarnie, gabinety osobliwości, a także spotykał się z wieloma osobistościami – cesarzową Marią Teresą, królem Ludwikiem XV, książętami Rzeszy czy liczną w każdym mieście arystokracją.