W 1913 został przeniesiony do Stoczni Bałtyckiej w Petersburgu, zajmując się tam budową krążowników oraz zamawianiem i odbiorem jakościowym stali okrętowej. Po rewolucji w Rosji, w 1918, w rosyjskim stopniu komandora podporucznika, Rylke przez Finlandię powrócił do Polski, docierając tam we wrześniu 1919.
10 września 1919 zgłosił się do służby w polskiej Marynarce Wojennej i został przydzielony do jej korpusu technicznego, w stopniu majora, później komandora podporucznika. Negocjował zamówienie przez Polskę monitorów rzecznych typu Warszawa w gdańskiej stoczni Danziger Werft i sprawował nadzór nad ich budową oraz nad przebudową pierwszego okrętu dla polskiej Marynarki Wojennej – ORP „Pomorzanin”. Władając kilkoma językami (angielskim, niemieckim, francuskim, rosyjskim) jeszcze kilkukrotnie uczestniczył w komisjach zakupów statków za granicą, w tym był przewodniczącym komisji, która zakupiła w 1920 żaglowiec szkolny „Lwów” dla Szkoły Morskiej w Tczewie. W 1921 zwolnił się ze służby i przeszedł do rezerwy. Próbował założyć prywatną stocznię w Polsce, jednakże plany te nie powiodły się z przyczyn ówczesnej sytuacji ekonomicznej kraju. Pracując następnie w Warszawie (w firmie braci Lilpop), zajmował się w dalszym ciągu popularyzacją spraw morskich, m.in.