U władzy: 1772–1784 Rządy Guldberga charakteryzowały się neutralnością w polityce zagranicznej i dobrą sytuacją gospodarczą. Wspierał on wypieranie z życia publicznego elementów nieduńskich: w 1773 r. język duński stał się jedynym językiem urzędowym armii, a w 1776 r. ogłoszono ustawę o obywatelstwie, która wykluczała cudzoziemców ze sprawowania wysokich funkcji publicznych. Guldberg wspierał pisarzy i poetów piszących w języku duńskim, m.in. Jörgena Zoega. Choć z pewnością był nacjonalistą, używał tej powszechnej o nim opinii również w celach propagandowych.
Guldberg nie wiedział, jak walczyć z korupcją i nie rozumiał konieczności polepszenia warunków życia chłopstwa. Jak stwierdził: „...nie można zrzucić jarzma z chłopów nie narażając się na niebezpieczeństwo wstrząśnięcia podwalinami państwa...”. Abrogował wszystkie reformy Struenseego, które uważał za niepotrzebne. Choć sam wywodził się z prowincji, w swoich decyzjach politycznych wyraźnie faforyzował stolicę.