Do Polski powrócił w 1928 po uzyskaniu doktoratów z filozofii i teologii. Powierzono mu wtedy stanowisko ojca duchownego w seminarium w Płocku. Pracował także na rzecz Akcji Katolickiej w Płocku i był odpowiedzialny za Katolickie Stowarzyszenie Kobiet na terenie diecezji płockiej. W okresie działalności w mieście krytykowany był za częste kontakty z kobietami, a szczególnie za doradzanie swojej partnerce, jak unieważnić jej małżeństwo. W Płocku krążyły wówczas plotki o kokietowaniu przez księdza kobiet oraz opinia, iż jest najprzystojniejszym mężczyzną w mieście. Doszło do tego, iż w jednej z lokalnych gazet ks. Świderski został nazwany listownie przez jednego z czytelników Rasputinem. Ostatecznie publiczną krytykę ks. Świderskiego wyraził – w obecności innych księży – ks. Czesław Kaczmarek (wówczas kierownik Akcji Katolickiej w Płocku), stwierdzając, iż jego zachowanie przynosi hańbę duchowieństwu. Sam zainteresowany stwierdził natomiast, że padł ofiarą intrygi, i zdementował informacje na swój temat, podobnie jak plotkę, że ma syna i płaci na niego alimenty. Swoją obronę opisał w książce Oglądały oczy moje.