Przedwczesna śmierć Herzla (w 1904) pogrążyła Wolffsohna w głębokiej depresji. Zdołał się jednak szybko otrząsnąć i jeszcze silniej zaangażował się w niestrudzoną pracę dla sprawy syjonizmu. Przy grobie Herzla powiedział: „Nie chciałeś, aby na twoim grobie wygłaszano przemówienia. Twoja wola jest dla nas święta. Przysięgam jednak, że ze wszystkich sił będziemy kontynuować rozpoczętą przez ciebie pracę, zawsze będziemy dbać o twoje dobre imię i nigdy ciebie nie zapomnimy, tak długo, jak Żydzi żyją na ziemi.”
Potem uklęknął z podniesioną ręką i zacytował werset biblijny: „Jeśli zapomnę cię, Jeruzalem, niech uschnie prawica moja!”Zobacz: Księga Psalmów 137,5-6 : „Jeśli zapomnę cię, Jeruzalem, niech uschnie prawica moja! Niech przylgnie język mój do podniebienia, jeślibym nie pamiętał o tobie, Jeślibym nie wyniósł Jeruzalemu nad największą radość moją!.” Tłumaczenie według Biblii Tysiąclecia.