W przeciwieństwie do swojego ekstrawertycznego brata rzadko pojawiał się publicznie jako współwłaściciel firmy. thumb|Joseph Thyssen – grób rodzinny na starym cmentarzu miejskim w Mülheim an der Ruhr.
W 1880 Joseph Thyssen poślubił córkę wydawcy – Klarę Bagel (1856–1918), która podobnie, jak żona jego brata – Augusta pochodziła z protestanckiej klasy wyższej w Mülheim. Ceremonia ślubna stała się katolicka na prośbę Josepha Thyssena. W odniesieniu do protestanckich krewnych uroczystości nie przeprowadzono jednak w Mülheim. Para doczekała się trójki dzieci – Juliusa (1881), Johanny (1883) i Hansa (1890). Pociechy zostały wychowane w wierze katolickiej swojego ojca. Rodzina początkowo mieszkała w prostym, ceglanym domu szeregowym przy Eppinghofer Straße. Jednak w 1883 przeprowadziła się do domu klasy średniej przy ulicy kolejowej – (niem. Bahnstraße). W 1900 nastąpiła kolejna przeprowadzka do nowo wybudowanej Willi Thyssen nad brzegiem Ruhry.
W przeciwieństwie do swojego brata, Joseph Thyssen po ślubie był nie tylko skoncentrowany na pracy i wspólnym przedsięwzięciu, ale także brał udział w życiu towarzyskim i klubowym Mülheim. Był również uważany za kolekcjonera dzieł sztuki.