Nie zrezygnował jednak ze służby publicznej i pełnił jeszcze funkcję posła do parlamentu wiedeńskiego w latach 1876–1877. Następnie zrezygnował z tego mandatu na rzecz brata Władysława, właściciela Polanki wycofał się z życia politycznego wrócił na stałe do Mianocic, poświęcając się sprawom gospodarczym. W 1883 roku Cezary ogłosił swe wspomnienia w Przeglądzie Polskim, w 1911 jako obywatel miasta Krakowa, był członkiem Towarzystwa Miłośników Historii i Zabytków Krakowa. Doświadczenia więzienne odbiły swoje piętno na jego zdrowiu fizycznym i psychicznym. Do tego dołączyły się tragiczne straty osobiste (przedwcześnie zmarłe dzieci, zmarli trzej bracia, siostra i synowa). W 1881 przeżył pożar dworu w Mianocicach, a w 1892 – kwitnącego browaru. 20 sierpnia 1893 zmarła żona Julia, która została pochowana w wystawionym przez Cezarego Emila grobowcu rodzinnym – mauzoleum na cmentarzu w Książu Wielkim. Cezary Emil przeżył żonę o 22 lata. W 80 roku życia przeszedł ciężką operację, ponadto złamał nogęMaria Dzielska 'Cezary Emil Haller – Karta z historii rodu Hallerów’, [w:] Towarzystwo Przyjaciół Skawiny – Informator nr 81 s.