Po wycofaniu się z polityki, jeszcze w 1858 wyjechał do Ameryki Północnej i Europy. Jednak w październiku 1860 do Wiktorii. W listopadzie t.r. zajął mandat posła (member) Rady Ustawodawczej, reprezentując Portland. W 1861–1863 sprawował urząd sekretarza skarbu w trzecim ministerium J. O'Shanassy’ego. W 1864 nie uzyskał reelekcji. W t.r. został wybrany jednak w Prowincji Wschodniej.
Pod koniec 1865 zaangażował się żywo w gorącą debatę publiczną na temat reformy wprowadzającej pomoc socjalną dla robotników. Najprawdopodobniej nieoszczędzanie się w trakcie tej debaty przy słabym zdrowiu i podeszłym wieku, doprowadziło do komplikacji chorobowych i arytmii serca. Zmarł na zawał serca 3 lutego 1866 w South Yarra. Został pochowany na cmentarzu St. Kilda w Melbourne.
Działalność polityczna Premier Pomimo stabilności kierownictwa jego gabinet był bardzo niepewny, gdyż nie posiadał poparcia większości parlamentarnej. Sam Haines był osamotniony na scenie politycznej. Utrzymanie rządu zawdzięczał przede wszystkim radom W. Stawella. Tymczasem opozycja wobec niego była stosunkowo zjednoczona pod przewodnictwem J. O'Shanassy'ego. W marcu 1857 pomimo kilku nieznacznych ustępstw na rzecz liberałów ministerium Hainesa upadło. J. O'Shanassy ponownie objął urząd premiera.