Już po roku złożył rezygnację ze stanowiska, ale mógł ustąpić z niego ostatecznie dopiero 27 kwietnia 1839 roku.
Należał do loży wolnomularskiej Przesąd Zwyciężony, był honorowym członkiem Towarzystwa Naukowego Krakowskiego, działał w licznych komitetach mających na celu rozwój Krakowa.
Żonaty z Elżbietą Gorczyńską, miał z nią czterech synów i dwie córki, w tym Henryka i Cezarego Emila.
Został pochowany na cmentarzu Rakowickim w Krakowie (pas 10). mały|Grób Józefa i Henryka Hallerów na cmentarzu Rakowickim Bibliografia
Kategoria:Urodzeni w 1783 Kategoria:Zmarli w 1850 Kategoria:Prezesi Senatu Rządzącego Rzeczypospolitej Krakowskiej Kategoria:Pochowani na cmentarzu Rakowickim Józef Kategoria:Polscy wolnomularze Kategoria:Ludzie urodzeni w Krakowie