W latach 1938–1940 przebywał w Belgii, później w okupowanej Francji. We wrześniu 1942 roku uciekł do Szwajcarii, jednak został zdemaskowany i jako Żyd skierowany do obozu w Girenbad. Zachorował na zapalenie gardła, cierpiał na bóle serca, przebywał w szpitalu w Zurychu, gdzie nie chciano go jednak poddać dalszym badaniom. Po wypisie ze szpitala 14 listopada i powrocie do obozu zmarł dwa dni później w znajdującej się nieopodal miejsca internowania restauracji. Obecnie znajduje się w tym miejscu tablica pamiątkowa.
Został pochowany na Cmentarzu Żydowskim w Dolnym Friesenbergu w Zurychu, na jego nagrobku znajduje się inskrypcja „Ein Stern fällt - Josef Schmidt, Kammersänger, 1904-1942”
W 2004 roku imieniem Schmidta została nazwana szkoła muzyczna w berlińskiej dzielnicy Treptow-Köpenick, a w styczniu 2008 roku jedna z asteroid.
Filmografia „Der Liebesexpreß” (Niemcy, 1931) „Goethe lebt...!” (Niemcy, 1932) „Gehetzte Menschen” (Niemcy, 1932) „Ein Lied geht um die Welt” (Niemcy, 1933) „Wenn du jung bist gehört Dir die Welt” (Austria, 1934) „Ein Stern fällt vom Himmel” (Austria, 1934)