Andreasowi Hadikowi, który został jeszcze w styczniu drugim gubernatorem Galicji i pozostał nim aż do czerwca 1774 roku.
Odwołany z Galicji von Pergen powrócił do Wiednia. Potem pełnił funkcję namiestnika (Statthalter) arcyksięstwa Austrii (1782-1790). Miał też swój udział w dziele reformy administracyjnej kraju w duchu oświecenia i józefinizmu, choć ostatecznie jego projekt odrzucono na rzecz tego, który przedstawił Karl Anton Martini (1726-1800).
Pergen to również twórca tajnej policji wiedeńskiej i pierwszy formalny Polizeiminister od roku 1804. Ale już przed tym rokiem prowadził śledztwa. W 1794 Pergen i hrabia Franz Josef von Saurau (1760-1832) prowadzili wspólne śledztwo, które doprowadziło do rozpracowania projakobińskiego demokratycznego spisku i skazania kilku demokratów.
Rodzina Ożenił się 19 VII 1762 r. z baronówną Philippine Gabriele von Groschlag.