W okresie transformacji polityczno-gospodarczej rozpoczął pracę w sektorze prywatnym. W latach 1989–1993 był dyrektorem biura regionalnego przedsiębiorstwa joint-venture Estkompexim. W pierwszej połowie lat 90. pracował jako dyrektor generalny i prezes zarządu spółki AS Rondam oraz zasiadał w radzie dyrektorów Rahvapank. W okresie 1994–1996 był dyrektorem oddziału banku Sotsiaalpank w Tartu oraz wicedyrektorem oddziału banku Põhja-Eesti Pank w tym samym mieście. Od 1994 do 1998 pełnił funkcję prezesa stacji radiowej w Tartu, pracując również w Tartu Kommertspank. W latach 1995–1996 kierował spółką Fondijuhtide AS oraz funduszem inwestycyjnym Livoonia Erastamise Investeerimisfond.
W 1998 został wybrany na burmistrza Tartu. Funkcję tę pełnił do 2004. W tym samym roku został przewodniczącym Estońskiej Partii Reform, zastępując Siima Kallasa, jej założyciela i pierwszego przewodniczącego, który został mianowany komisarzem Unii Europejskiej. Andrus Ansip objął również stanowisko ministra gospodarki i komunikacji w rządzie Juhana Partsa.