W 1972 został sekretarzem generalnym Ligi Awami. Rahman kilkakrotnie pełnił funkcję nieformalnego lidera partii w czasie jej politycznych problemów. Po raz pierwszy w 1975, po zamachu stanu i zabójstwie Sheikha Mujibura Rahmana. Zapewnił także jedność partii w czasie stanu wyjątkowego (2007-2008) i rządów tymczasowej administracji Fakhruddina Ahmeda, gdy przeciw Sheikh Hasinie toczyło się postępowanie antykorupcyjne.
W sierpniu 1975, po zabójstwie Sheikha Mujibura Rahmana był przez cztery lata więziony. W 1986, jako członek parlamentu, został ponownie uwięziony w czasie rządów prezydenta H.M. Ershada.
W latach 1996–2001 Rahman zajmował stanowisko ministra samorządu lokalnego, rozwoju wsi i współpracy w gabinecie premier Sheikh Hasiny.
3 stycznia 2009 Zillur Rahman został wybrany wiceprzewodniczącym Zgromadzenia Narodowego"Zillur Rahman to be next Bangladesh President: Hasina', Deccan Herald, 4 stycznia 2009., sformowanego po wyborach parlamentarnych z grudnia 2008. 12 lutego 2009 zrezygnował z mandatu parlamentarzysty, by objąć urząd prezydenta kraju.