W 1938 doszło do kolejnego skandalu obyczajowego z jego udziałem, co ostatecznie zmusiło go do wyjazdu z Płocka. Z pomocą duchownemu przyszedł ks. Czesław Kaczmarek mianowany w tym samym czasie biskupem diecezjalnym kieleckim. Ks. Leonard Świderski piastował funkcję sekretarza biskupa Kaczmarka oraz kanclerza kurii. Po wybuchu II wojny światowej wraz z biskupem Czesławem Kaczmarkiem schronili się w klasztorze w Stopnicy, uznanym za miejsce bezpieczne. Nie było to dobre rozwiązanie, więc jeszcze w trakcie kampanii wrześniowej wrócili do Kielc. thumb|240px|Ogłoszenie w „Tygodniku Powszechnym” z listopada 1948 W 1942 zrezygnował z pełnionych funkcji w Kielcach, w związku z czym został mianowany proboszczem parafii w Moskarzewie. Proboszczem parafii był do 1946, do czasu wyjazdu na Ziemie Odzyskane. Tam został proboszczem parafii w Wałbrzychu, gdzie przebywał dwa lata. W 1948 wrócił do diecezji kieleckiej i objął funkcję proboszcza parafii w Piotrkowicach. Kolejne przeniesienie nastąpiło w 1950. Przeniesiony został do parafii Nawarzyce, gdzie również pełnił funkcję proboszcza.