Zasłynął tym, że odmówił przyjęcia tytułu Bohatera Federacji Rosyjskiej przyznanego mu za zdobycie Groznego, gdyż jego zdaniem nie można być bohaterem w wojnie domowej i uznał ten sukces za pyrrusowe zwycięstwo.
Władze rosyjskie postanowiły wykorzystać jego popularność do podniesienia notowań rządu. W 1995 r. został wybrany do Dumy Państwowej Federacji Rosyjskiej z federalnej listy ruchu Nasz Dom Rosja, który został utworzony w tym samym roku w celu wsparcia polityki Borysa Jelcyna (ugrupowaniem kierował ówczesny premier Rosji Wiktor Czernomyrdin). Jako członek Dumy został wybrany przewodniczącym Komisji Obrony.
Generał Rochlin szybko opuścił partię, zdystansował się od prezydenta i przeszedł do opozycji, a dzięki dostępowi do dokumentów kompromitujących otoczenie Jelcyna, zaczął otwarcie wymieniać beneficjentów wojny czeczeńskiej. 24 czerwca 1997 r. skrytykował rządowe plany drastycznego zmniejszenia armii i wydatków na nią oraz osobiście prezydenta Jelcyna za błędne decyzje i brak doświadczenia wojskowego. Nawoływał wtedy też do tworzenia komitetów żołnierskich. Od lata 1997 r. przewodniczył Ogólnorosyjskiemu Ruchowi Wspierania Armii, Nauki Wojskowej i Przemysłu Obronnego, do którego należało wielu znanych i wpływowych emerytowanych funkcjonariuszy armii i organów ścigania.