Hoffer wyjechał do Los Angeles, co rozpoczęło dziesięcioletni okres włóczęgi. Osiedlił się na ówczesnych przedmieściach Los Angeles w Skid Row, spędzając czas na czytaniu, okazjonalnie pisząc, pracując dorywczo. Po 1931 r. opuścił Skid Row i został robotnikiem sezonowym, zatrudnionym przy zbiorach w Kalifornii. W miejscach, w których pracował, wyrabiał sobie kartę biblioteczną, aby móc dzielić czas „pomiędzy książki i burdele”. Podczas drugiej wojny światowej, w wieku 40 lat, zgłosił się do Armii Stanów Zjednoczonych. Nie przyjęto go jednak z powodu przepukliny. Zamiast tego w 1943 r. zaczął wykonywać zawód dokera, stając się robotnikiem portowym.
Wtedy też podjął poważne próby pisarskie. Hoffer opuścił doki w 1964 r., by krótko po tym zostać wykładowcą na Uniwersytecie Kalifornijskim w Berkley. Postanowił jednakże usunąć się z życia publicznego w 1970 r. „Zamierzam dowlec się do dziury, w której zacząłem”, wyjaśnił. „Nie chcę być osobą publiczną lub jakimkolwiek mówcą… Każdy człowiek może podróżować pociągiem. Tylko mądry człowiek wie, kiedy wysiąść” Zmarł we własnym domu w San Francisco w 1983 r., w wieku 84 lat. Uważał siebie za ateistę, ale przychylnie odnosił się do religii i opisywał ją jako siłę pozytywną.