Pod koniec lat czterdziestych stan jego zdrowia zaczął się pogarszać, również jego zachowania budziły kontrowersje. Porzucił rodzinę i wyjechał do Kalifornii, gdzie ożenił się po raz trzeci (miał jedno dziecko z tego związku). Po powrocie do Nowego Jorku w 1954 błędnie diagnozowano u niego różne choroby (włączając alkoholizm i schizofrenię). Ostatecznie odkryto, że cierpi na pląsawicę Huntingtona. Choroba ta całkowicie uniemożliwiła mu dalszą twórczość. Do śmierci przebywał w nowojorskim szpitalu psychiatrycznym, gdzie opiekowała się nim jego druga żona Marjorie.
Światopogląd W swojej twórczości, szczególnie tej powstałej podczas II wojny światowej, protestował przeciwko faszyzmowi i na rzecz wartości ludowych. Wykonywał utwory, w których opowiadał się przeciw faszyzmowi i rasizmowi, w ramach szerszej walki o prawa ludzi pracujących i o sprawiedliwość społeczną.
W 1939 roku podczas swojego show The Lone Wolf na antenie stacji radiowej KFVD (Los Angeles) wykonał piosenkę More War News, w której określił pakt Hitler-Stalin i atak sowietów na Polskę jako przysługę dla polskich rolników, przez co został zwolniony.