Razumowski dowodził okrętem, który przywiózł do Rosji narzeczoną następcy tronu, Wilhelminę Luizę z Hesji-Darmstadt, która po konwersji na prawosławie znana była jako Natalia Aleksiejewna. Wkrótce Razumowski miał wdać się w romans z małżonką przyjaciela. Natalia Aleksiejewna zmarła w 1776 roku przy porodzie, ku rozpaczy zarówno następcy tronu Pawła Piotrowicza, jak i Andrieja Razumowskuego. Ten ostatni, według raportów francuskiego ambasadora, miał być wyraźnie przygnębiony jej śmiercią. Wziął udział w jej pogrzebie oraz płakał nad jej grobem w petersburskiej ławrze Aleksandra Newskiego. Wkrótce Katarzyna II ujawniła kompromitujące listy miłosne, które Razumowski i wielka księżna pisywali do siebie. Wywołało to skandal na dworze petersburskim. Paweł znienawidził młodego Razumowskiego. Nawet w kilka lat później, gdy spotkali się w Neapolu, przyszły cesarz nieomal doprowadził do rozlewu krwi, atakując byłego przyjaciela. Andriej Razumowski popadł w niełaskę i musiał opuścić dwór. Udał się najpierw do Rewla, a następnie do ukraińskich dóbr ojca. W styczniu 1777 roku został mianowany posłem w Królestwie Neapolu. Dzięki jego staraniom flota rosyjska mogła stacjonować na Sycylii. Przyczynił się też do zawartego w 1787 roku, rosyjsko-neapolitańskiego porozumienia handlowego. Wdał się też w romans z królową Marią Karoliną Habsburżanką.