W 1984 kardynał Józef Glemp powierzył mu zadanie zorganizowania nowej parafii pod wezwaniem św. Antoniego z Padwy w Mińsku Mazowieckim i 1 października został jej administratorem, a 25 grudnia proboszczem. Tutaj wybudował kościół i plebanię. W 1992 parafia znalazła się w granicach nowo powstałej diecezji warszawsko-praskiej, a ksiądz Byrski w jej strukturach pełnił różne funkcje: od 1992 do 2005 był członkiem Rady Kapłańskiej, od 1993 do 2017 był pierwszym dziekanem nowo powstałego dekanatu Mińsk Mazowiecki – św. Antoniego z Padwy, a od 2005 do 2009 był członkiem Kolegium Konsultorów. W dniu 30 czerwca 2017 zakończył posługę proboszcza przechodząc na emeryturę, a następnie zamieszkał w Domu Księży Emerytów w Otwocku.
Zmarł 11 maja 2021 w Otwocku. Uroczystości pogrzebowe rozpoczęły się w parafii, w której był wieloletnim proboszczem 13 maja. Następnego dnia w Domu Księży Emerytów w Otwocku biskup Jacek Grzybowski odprawił mszę żałobną.