Działalność polityczna w latach 1988–2007 W okresie 1988–1995 wchodził w skład Senatu z ramienia CVP. Od września 1988 do września 1993 stał na czele Chrześcijańskiej Partii Ludowej. Od września 1993 do lipca 1999 zajmował stanowisko wicepremiera i ministra budżetu w gabinecie, którym kierował Jean-Luc Dehaene (w 1999 odpowiadał również za sprawy rolnictwa). W 1999 jego partia przegrała wybory parlamentarne i znalazła się w opozycji.
W 1995 Herman Van Rompuy wszedł w skład Izby Reprezentantów, uzyskiwał reelekcję w 1999, 2003 i 2007. W styczniu 2004 otrzymał przyznany przez króla tytuł ministra stanu.
12 lipca 2007 został wybrany na przewodniczącego Izby Reprezentantów, którym pozostał do czasu objęcia stanowiska premiera. 29 sierpnia 2007 król Albert II powierzył mu misję prowadzenia rokowań koalicyjnych (explorateur) w czasie kryzysu politycznego, jaki nastąpił w Belgii po czerwcowych wyborach parlamentarnych. Celem było kontynuowanie negocjacji i doprowadzenie do porozumienia partii walońskich i flamandzkich w sprawie utworzenia wspólnego rządu. Herman Van Rompuy złożył królowi raporty ze swoich działań 3 września i 10 września 2007.