Był członkiem obu rządów José Maríi Aznara. Od maja 1996 do kwietnia 2000 sprawował urząd ministra gospodarki i finansów, następnie do kwietnia 2004 ministra gospodarki i konkurencyjności. Jednocześnie od maja 1996 był drugim wicepremierem, a od września 2003 do kwietnia 2004 pełnił funkcję pierwszego wicepremiera. W 2003 był wymieniany jako kandydat na nowego lidera Partii Ludowej, jednak na funkcję tę został desygnowany Mariano Rajoy.
W czerwcu 2004, wkrótce po przejęciu w Hiszpanii władzy przez socjalistów, Rodrigo Rato otrzymał nominację na dyrektora zarządzającego Międzynarodowego Funduszu Walutowego. Zastąpił Horsta Köhlera, ubiegającego się o urząd prezydenta Niemiec. Na czele MFW stał do końca października 2007.
W 2010 został prezesem banku oszczędnościowego Caja Madrid. W tym samym roku współtworzył, powstałą z połączenia tej instytucji oraz sześciu innych przedsiębiorstw finansowych, grupę Bankia. Kierował nią do 2012, kiedy to Bankia utraciła płynność finansową, a obrót jej akcjami został zawieszony. W 2014 zarzucono mu (i kilkudziesięciu innym członkom organów zarządzających i nadzorczych grupy) sprzeniewierzenie funduszy grupy poprzez nieuzasadnione wydatki na cele prywatne za pośrednictwem służbowych kart kredytowych. Został wówczas wykluczony z szeregów Partii Ludowej. Jego proces karny rozpoczął się w 2016.