W latach 1975–1981 należał do PZPR. W 1978 przeniósł się do Warszawy. Pracował przez dwa lata jako pedagog w Zespole Szkół Budowlanych. W latach 1981–1985 współpracował z firmą remontującą mieszkania, której był udziałowcem.
Debiutował dyptykiem powieściowym Stankiewicz. Powrót (1984). Pierwodruk Stankiewicza, minipowieści opowiadającej o losach syna powstańca styczniowego, będącego jednocześnie oficerem carskiej armii, oraz jego problemach z odkrywaniem własnej tożsamości, ukazał się w 1983 w „Literaturze” i otrzymał nagrodę tygodnika za debiut roku. Za właściwy debiut pisarza uznaje się jednak wydanie Stankiewicza w 1984 przez Państwowy Instytut Wydawniczy, wraz z drugą minipowieścią: Powrót. Teksty 39-letniego wówczas Rylskiego zyskały uznanie zarówno krytyków, jak i czytelników. Stankiewicza przetłumaczono na włoski, niemiecki, francuski, rosyjski, węgierski i hiszpański, Powrót na rosyjski i francuski. Producenci filmowi kupili prawa do adaptacji obu powieści. Wydanie jego kolejnej książki, zbioru opowiadań Tylko chłód (1987), nie licząc wyróżnienia Warszawską Premierą Literacką, przeszło bez większego echa. Na blisko 20 lat Rylski zaprzestał pisania prozy.