Po tych wypadkach Olga z mężem przedostała się do Szwajcarii nocą 2 września 1939. Antyżydowskie nastroje w Immenhausen sprawiły, że Lilli dostała zakaz wykonywania praktyki lekarskiej, zmuszono ją do podpisania zgody na anulowanie doktoratu. Wkrótce była jedynym żydowskim mieszkańcem w tej okolicy (matka z siostrą zdążyły wyemigrować do Birmingham w 1939 roku, a ojciec zmarł w 1932 roku). Latem 1939 roku, gdy rodzina Jahnów chciała spędzić wspólnie wakacje, pracownicy hotelu nie wpuścili do środka Lilli.
8 października 1942 Ernst Jahn wniósł pozew o rozwód z żoną, a następnie porzucił ją i dzieci dla ciężarnej kochanki, niemieckiej lekarki katoliczki Rity Schmidt, której poród przyjmowała sama Lilli. Wygnana z domu przez Ritę, Lilli przeniosła się z dziećmi do Kassel, które było bombardowane przez aliantów. Jako rozwiedziona Żydówka nie była już pod żadną ochroną.