Na początku lat 40. był zmuszony łączyć występy tenisowe ze służbą wojskową w Straży Wybrzeża. Ograniczyło to znacznie jego starty – jego największym osiągnięciem singlowym w okresie II wojny światowej był finał mistrzostw USA w 1943, w którym ponownie uległ Huntowi. Kramer nie wykorzystał w tym meczu swojej szansy – serwował na wygranie trzeciego seta przy stanie 1:1, a w ostatniej piłce meczu zdecydowanie zabrakło mu szczęścia. Wyrzucił forhendem piłkę poza kort, a w tym samym momencie Hunt upadł, zmagając się ze skurczami mięśni, po których prawdopodobnie nie byłby w stanie kontynuować meczu. Końcowy wynik tego finału brzmiał 6:3, 6:8, 10:8, 6:0 dla Joe Hunta (niespełna półtora roku później zmarłego tragicznie w wypadku lotniczym).
Ograniczone starty Kramera znalazły odzwierciedlenie w jego pozycjach rankingowych w USA. W 1941 spadł na 9. miejsce, rok później wypadł poza czołową dziesiątkę. Dzięki finałowi mistrzostw USA w 1943 był wiceliderem rankingu, ale w latach 1944–1945 – jako nieobecny na kortach – ponownie pozostawał poza czołówką.