Poseł w Wiedniu thumb|Andriej Rasumowski około 1810 roku Ambasadorem w Wiedniu był od 6 grudnia 1790 do 4 grudnia 1799 roku. Sprawował swoje obowiązki do 1806 z przerwą w latach 1799–1801. Odegrał znaczącą rolę w uzgodnieniach dotyczących II i III rozbioru Polski i w okresie wojen napoleońskich. W 1793 został odznaczony Orderem św. Aleksandra Newskiego. Był konserwatystą i wrogiem rewolucji francuskiej, a także zwolennikiem interwencji we Francji w obronie interesów Ludwika XVI.
Podczas pobytu w austriackiej stolicy stał się jednym z najgorętszych miłośników muzyki Ludwiga van Beethovena, który poświęcił mu V i VI symfonię oraz trzy kwartety smyczkowe (Opus 59 nr 1-3). Razumowski był także zaprzyjaźniony z Josephem Haydnem i Wolfgangiem Amadeusem Mozartem.