Po śmierci dziadka Dietricha książę stał się jedynym dziedzicem baronowskiego spadku. Do czasu osiągnięcia pełnoletniości (1870) zarządzali nim administratorzy ojca. W schedzie przypadł siedmioletniemu dziedzicowi m.in. zamek w Feistritz am Wechsel (Dolna Austria), pałac w Matzleinsdorf (Wiedeń), romantyczna ruina zamku Thomasberg (Dolna Austria), pałac Neuhaus w Tržiču (Słowenia), pałac w Mürzzuschlag, pałac w Pâncota oraz liczne dobra w tych miejscowościach, zagraniczne depozyty bankowe i ogromna kolekcja sztuki. Pośród dziedziczonych dóbr znalazła się również jaskinia Hermannshöhle (koło Kirchberg am Wechsel). Po śmierci ojca (1879) młody książę został VII powiernikiem bielskiego fideikomisu i automatycznie wszedł w posiadanie bielskiego zamku z licznymi dobrami w powiecie bielskim, jednak tutaj nigdy nie bywał. Niestety Józef Maria stracił cały dorobek dziadka Dietricha oraz uszczuplił bielski majątek podniesiony wcześniej z ruiny przez ojca. Wydaje się, że jednym z powodów był wystawny styl życia czego emblematycznym przykładem mogły być cytowane przez ówczesną prasę książęce zamiłowania do kosztownych podróży z liczną służbą, własną trupą teatralną, muzyczną i małym zwierzyńcem. W tym celu miał wynajmować całe składy kolejowe oraz hotele na wyłączność. Jednak zasadniczym powodem były niefortunne wybory małżeńskie.