Jego drużyna wywalczyła awans do Orange Ekstraklasy, w której Pilarz po raz pierwszy zagrał 1 sierpnia 2004 roku w pojedynku z Legią Warszawa, wpuszczając w nim dwie bramki. We wrześniu wystąpił w meczu pucharu Polski z Mazowszem Grójec, w którym w 88. minucie zdobył gola z rzutu karnego dla swojej drużyny. W rundzie jesiennej sezonu 2004/2005 był podstawowym graczem Pogoni i rozegrał łącznie 17 spotkań. W lutym 2005 roku został wypożyczony do GKS-u Bełchatów. Spędził w nim rok, będąc zmiennikiem Aleksandra Ptaka i Łukasza Sapeli.
Pod koniec lutego 2006 roku Pilarz podpisał dwuipółletnią umowę z Odrą Wodzisław Śląski. Zadebiutował w niej w przegranym 0:4 spotkaniu z Amicą Wronki, zaś w rundzie wiosennej sezonu 2005/2006 był jej podstawowym bramkarzem. W kolejnych rozgrywkach o miejsce w pierwszym zespole rywalizował z Wojciechem Skabą, natomiast jesienią 2007 roku ponownie był pierwszym golkiperem Odry. Na początku stycznia 2008 roku związał się umową z Ruchem Chorzów, która początkowo miała obowiązywać od lata, ale klubu doszły wcześniej do porozumienia i zawodnik już w rundzie wiosennej reprezentował chorzowski klub na zasadzie wypożyczenia. W nowej drużynie początkowo pełnił rolę zmiennika, ale później wywalczył miano podstawowego bramkarza.