Inż. Rylke nie przyjął propozycji dalszej pracy na stanowisku cywilnym dla wojska, jednakże będąc członkiem Towarzystwa Wiedzy Wojskowej, opracował następnie jeszcze na zlecenie marynarki programy szkolenia techników budowy okrętów na poziomie średnim. Współpracował też z brytyjską stocznią J. Samuel White w Cowes w opracowaniu oferty na budowę dla Polski niszczycieli OORP „Grom” i „Błyskawica”. W 1938 uczestniczył w organizowaniu i budowie Stoczni Gdyńskiej, projektując m.in. trasernię kadłubową i pochylnię, na której podjęto budowę pierwszego polskiego statku SS „Olza”. Podczas kampanii wrześniowej w 1939 Rylke został zmobilizowany.

7 września 1939 wraz z Kierownictwem Marynarki Wojennej został ewakuowany z Warszawy do Pińska, następnie na Wołyń. Zdołał uniknąć niewoli sowieckiej, po czym powrócił do Warszawy. Podczas okupacji niemieckiej inż. Rylke prowadził konspiracyjne wykłady z budowy okrętów (ze statyki wiązań okrętowych i kreśleń okrętowych) na wydziale budowy okrętów organizowanym przez inż. Aleksandra Potyrałę w ramach organizacji marynarzy „Alfa” przy Armii Krajowej.

Awansowany kolejno na stopnie oficerskie: Rosja miczmana – 1909 podkapitana – 1913 kapitana – 1916 Polska kapitana marynarki – 1919 komandora podporucznika – 1919 komandora porucznika – 1930