W meczu tym Piotr zdobył tylko jeden punkt, chociaż gdyby nie defekty i upadek uzbierałby ich zapewne znacznie więcej. Z czasem Świderski radził sobie już jednak znacznie lepiej, występował nawet w Mistrzostwach Europy Juniorów. Kolejny rozgrywki Piotr ponownie spędził w Kolejarzu, którego był wiodącą postacią. Razem z Marcinem Nowaczykiem zajął piątą lokatę w Młodzieżowych Mistrzostwach Polski Par Klubowych, a finał Srebrnego Kasku zakończył na jedenastej pozycji.
Sezon 2004 rozpoczął jako zawodnik Atlasu Wrocław. Razem z Robertem Miśkowiakiem tworzył jedną z najlepszych par juniorskich w lidze. W jednej z rund kwalifikacyjnych Młodzieżowych Mistrzostw Polski Par Klubowych Świderski musiał wystartować samemu, ponieważ Miśkowiak zdawał w tym dniu maturę, a władze polskiego żużla nie zgodziły się na przesunięcie terminu zawodów. Świderski zdobył komplet osiemnastu oczek, jednak wynik ten był i tak zbyt niski, by przejść do następnej fazy turnieju. W kolejnych zawodach, Mistrzostwach Świata Juniorów, Robert zwyciężył, a Piotr zajął piąte miejsce. Tę samą lokatę Świderski zajął w finale Młodzieżowych Mistrzostw Polski w Pile. Wraz z WTS-em zdobył drużynowo wicemistrzostwo kraju. W 2005 Świderski startował już jako senior i dosyć niespodziewanie wywalczył sobie miejsce w składzie.