Stolorzowie mają trójkę dzieci. Syn Sebastian (ur. 1976), absolwent Liceum Ziemi Kujawskiej i Szkoły Głównej Handlowej w Warszawie jest doradcą w Departamencie Strategii Banku Światowego w Waszyngtonie, wcześniej był głównym ekonomistą Banku Ochrony Środowiska i głównym doradcą ekonomicznym Narodowego Banku Polskiego. Jest także komentatorem ekonomicznym.
Twórczość Charakterystyka i inspiracje Józef Stolorz tworzył głównie obrazy olejne. W stylistyce jego twórczości dominują symbolizm, surrealizm i romantyzm. On sam przyznawał, że przeżywanie jego twórczości ma charakter mistyczny. Nie identyfikował się z klasyfikowaniem go do malarzy nurtu realizmu magicznego, wolał określenie „sztuka wizjonerska”. Mimo to bywa zaliczany do czołowych światowych twórców właśnie nurtu realizmu magicznego. Najczęściej podejmowanym przez niego tematem był pejzaż górski. Krajobrazy przedstawiane przez Stolorza nie są odwzorowywane z rzeczywistości. Charakterystyczny dla jego pejzaży jest brak ludzkich postaci, aczkolwiek jak sam przyznawał, inspirowały go geniusz Stwórcy i ślady ludzi, którzy go poszukują. Mimo że od lat 70. mieszkał na Kujawach, określał siebie mianem malarza śląskiego. Uznawany jest za artystę, który w doskonały sposób operuje światłem i barwą. Nazywany bywa mistrzem światła.