W 1926 roku poślubił Charlotte MacDougall córkę Williama MacDougalla, admirała United States Navy.
W latach 1932–1939 był ambasadorem w Oslo.
W 1939 roku, w obliczu zagrożenia wybuchem wojny, Dania potrzebowała doświadczonego przedstawiciela w Stanach Zjednoczonych. Ówczesny minister spraw zagranicznych Peter Munch (1870–1948) powierzył tę funkcję Kauffmannowi. Kauffmann szybko zdobył silną pozycję w Waszyngtonie i jako pierwszy duński ambasador wypowiedział współpracę z okupacyjnym rządem Danii, a Stany Zjednoczone uznawały go za oficjalnego przedstawiciela Danii. Po klęsce Francji w czerwcu 1940 roku, stosunki między ambasadą a ministerstwem spraw zagranicznych uległy zacieśnieniu. Kiedy Scavenius ponownie objął tekę ministra spraw zagranicznych, zostawił Kauffmanna na stanowisku.