Józefa, jak i św. Andrzeja Boboli, wraz ze współorganizowaniem historycznego pierwszego postoju Relikwii Świętego na Ziemiach Polski podczas sprowadzeniu ich z Rzymu; na dworcu w Dziedzicach 11 czerwca 1938 miała miejsce uroczystość pierwszego postoju w Polsce tych relikwii. Druga przerwa nastąpiła po wybuchu II wojny światowej. Działalność rekolekcyjna musiała być całkowicie przerwana, przy czym początkowo Niemcy zachowali możliwość od 2 września 1939 zwykłej pracy duszpasterskiej przy kaplicy. 10 kwietnia 1940 aresztowano wszakże 3 kapłanów i 3 braci zakonnych za "politykę wrogą wobec państwa niemieckiego", wywożąc ich do Dachau, następnie w budynku zamieszkali sami okupanci i urządzono w nim najpierw ośrodek przejściowy dla sprowadzanych z Niemiec osadników germanizujących, następnie od 1942 obóz karny dla Polek – matek z dziećmi. Pod koniec wojny Niemcy urządzili w domu zakonnym szpital wojskowy, który po wycofaniu Niemców został na krótko przejęty przez wojsko sowieckie.