Dla Schwartzbergów oraz innych Żydów, którzy przeżyli Holocaust, późniejsza sowiecka okupacja była wyzwoleniem. Przed niemiecką inwazją Wilno było w większości polskim oraz żydowskim miastem – po ludobójstwie na Litwie wileńska społeczność żydowska, do której należał również Schwartzberg, przestała istnieć. W związku z tym po powrocie do zdrowia oraz przesunięciu się Armii Czerwonej w stronę zachodu i Berlina, zdecydował się wraz z rodziną opuścić Wilno. Schwartzberg wyjechał na zachód, najpierw do Szczecina, a trzy tygodnie później, po niemieckiej kapitulacji, do Berlina. Dodatkowym czynnikiem mającym wpływ na decyzję Schwartzberga by opuścić jego rodzinne Wilno była próba uniknięcia przymusowego przesiedlenia na wschód. Przesiedlenie przez Sowietów dotknęło wiele osób na Litwie, łącznie z Żydami, którzy przeżyli Holokaust. Z tego też powodu, po przyjedzie do wschodniego Berlina Schwartzberg skłamał, podając jako swoje miejsce urodzenia Łódź w Polsce. Sowieci w tym czasie mieli zwyczaj repatriować ludzi z krajów bałtyckich. Często też wysyłali ich dalej na Wschód.