Zurych Będąc w Zurychu, pracował dla gazety „Der Weckruf”(pol. „Odgłos pobudki”). Został ponownie aresztowany i deportowany. Przekradł się z powrotem do Szwajcarii. Próbował pozostać w ukryciu, pozorując swoją własną śmierć. Napisał nawet swój nekrolog, w którym twierdził, że zginął w trakcie ucieczki więźniów. Po ujawnieniu prawdy, spotkał się z negatywnymi reakcjami, nawet w środowisku anarchistycznym. Dlatego postanowił opuścić Zurych. Po kilku miesiącach spędzonych w Paryżu przeniósł się do Rosji.
Rosja i śmierć Relacjonował rewolucję w 1905 r. w Der Kampf, ponieważ uważał, że przyszłość Europy zależy od wyniku rewolucyjnych wydarzeń w tym kraju. Wstąpił do federacji anarchistycznej w Polsce, wówczas będącej częścią Imperium Rosyjskiego. Pomagał tej organizacji przez kilka tygodni, okradając bogatych kupców, aby sfinansować działalność grupy. W czerwcu 1907 został złapany i skazany na piętnaście lat ciężkiej pracy. Po powrocie do Niemiec prawnicy i przyjaciele Holzmanna rozpoczęli kampanię na rzecz zagwarantowania mu wolności, wśród nich była m.in. Else Lasker-Schüler. Zbierała pieniądze, żeby mogła pojechać do Rosji i go odwiedzić, co udało jej się w 1913. Pozwolono jej się z nim spotkać w zakładzie dla obłąkanych pod Moskwą.