W 1927 roku został starostą powiatu świętomiejskiego (Kreis Heiligenbeil) i urząd ten sprawował przez siedem i pół roku. Za jego kadencji poczyniono wiele inwestycji w powiecie.
W grudniu 1933 awansował na stanowisko radcy ministerialnego (Ministerialrat), w Pruskim Ministerstwie Stanu (Staatsministerium)Ralf Banken: Die deutsche Goldreserven- und Devisenpolitik, w: Neue Ergebnisse zum NS-Aufschwung, hrsg. von Peter Hampe i inni., s. 67. Po przejściu do urzędu do spraw planu czteroletniego (1936–1940) pracował w dziale ds. dewiz, na czele którego stał jego przyjaciel ze studiów, Erich Neumann. Z polecenia Göringa Gramsch awansował na stanowisko dyrektora departamentu (Ministerialdirigent) w 1937 roku, a rok później na stanowisko dyrektora ministerialnego (Ministerialdirektor). Gramsch i Neumann tworzyli grupę doradczą Göringa („Brain Trust”)Robert Bohn: Reichskommissariat Norwegen, Nationsozialistische Neuordnung und Kriegswirtschaft, 2000, s. 143, zajmującą się planowaniem grabieży krajów okupowanych przez Niemcy w czasie II wojny światowej. Około 1942 roku Gramscha zastąpił Neumann na stanowisku szefa działu dewiz, gdyż Gramsch nie należał do NSDAPpatrz: Helmuth James von Moltke: Briefe an Freya 1939–1945, 2007.