Zwolnienie wielu ministrów (Heinrich Carl von Schimmelmann, Andreas Peter Bernstorff) zwiększyło jego władzę, lecz przysporzyło mu wielu krytyków.
Pozycji Guldberga zagroziła niechęć księcia koronnego Fryderyka do swojej macochy, królowej Juliany Marii, swojego przyrodniego wuja, księcia regenta Fryderyka i ich środowiska politycznego, którego Guldberg był częścią. W tym czasie realną władzę w Danii sprawował Guldberg i królowa Juliana Maria. W kuluarach życia politycznego zawiązał się spisek pod przywództwem księcia koronnego Fryderyka, który miał na celu odsunięcie od władzy środowiska królowej. W spisek zaangażowało się wielu polityków zwolnionych przez Guldberga, m.in. Andreas Peter Bernstorff. Do ogólnej niechęci wobec rządzącego środowiska przyczyniło się też zmniejszenie obrotów handlowych w porównaniu z okresem wojny Brytyjczyków z amerykańskimi koloniami.