Schyłek rządów i ostatnie lata życia: 1784–1808 Zamach stanu przeprowadzony przez księcia koronnego 14 kwietnia 1784 r. i przejęcie przezeń tytułu księcia regenta pozbawiły Guldberga władzy. Fryderyk pojawił się na posiedzeniu tajnej rady i odczytał rozporządzenie przywracające stan rzeczy sprzed rządów hrabiego Struensee, tzn. rządy osobiste monarchy. Guldberg i jego zwolennicy nie stawiali oporu. Znajdujący się na sali król Chrystian VII podpisał stosowne dokumenty, nie wiedząc, co robi. Bezskutecznie protestowała królowa Juliana Maria i ówczesny książę regent, Fryderyk. Guldberga został przeniesiony na urząd prefekta (amtmand) miasta Aarhus. Funkcję tę pełnił do 1802 r.
Ocena postaci Dziś Guldberg uważany jest za porządnego i skromnego człowieka, którego rządy przyniosły stabilizację, lecz jednocześnie nieco ciasno myślącego biurokratę, nie pojmującego sensu przeprowadzania reform. Ambasador brytyjski Ralph Woodford powiedział o nim: „...Jest uczonym i napisał doskonałą historię powszechną, świat i sprawy państwowe zna jednak z książek”.