Jako kierownik planował wprowadzić dwa nowe podatki bezpośrednie, które miały ograniczyć obciążenie szerokich warstw ludności, czyli jednorazową daninę od ziemi oraz podatek od zysków wojennych. Nie udało się ich wprowadzić w życie. Fiaskiem zakończyły się także starania o pożyczki od banków poznańskich w wysokości kilkuset milionów marek. W takich okolicznościach kierownik resortu w styczniu 1919 poinformował, iż pracownicy państwowi nie otrzymają poborów, co oznaczało ogłoszenie bankructwa rządu. 16 stycznia 1919 przestał pełnić funkcję kierownika ministerstwa skarbu.
31 stycznia 1919 w nowo powstałym rządzie Ignacego Paderewskiego, Byrka został powołany przez premiera na stanowisko wiceministra skarbu, którego szefem został Józef Englich. Po jego odejściu, utrzymał swoje stanowisko także za Stanisława Karpińskiego, Leona Bilińskiego oraz na krótko za kadencji Władysława Grabskiego, z którym był skonfliktowany. Byrka odszedł z rządu w 1920 i został naczelnym dyrektorem Polskiej Krajowej Kasy Pożyczkowej. Natomiast od lipcu 1920 został dyrektorem Zakładu Kredytowego Miast Małopolskich w Krakowie, pełniąc tę funkcję do 1924.