Działalność literacka Jako poeta debiutował w 1949 w piśmie „Směna”. W pierwszych tomach złożył hołd aktualnym w ówczesnej Czechosłowacji tendencjom artystycznym i ideologicznym. Potem związany był z grupą twórców skupionych wokół pisma „Květen” (Maj), głoszących program „poezji dnia powszedniego”, przez akcentowanie prywatności, problemów jednostki i zwyczajności przeciwstawiający się zideologizowaniu socrealizmu.

Działalność translatorska Červenka tłumaczył m.in. z rosyjskiego (Aleksandra Puszkina, Władimira Odojewskiego, Walerija Briusowa, Nikołaja Gumilowa, Osipa Mandelsztama, Nikołaja Zabołockiego, Bułata Okudżawę i in.), estońskiego (Jaana Krossa, Matsa Traata), słowackiego (Miroslava Válka, Milana Rúfusa) oraz polskiego (Czesława Miłosza, Zbigniewa Herberta i in.). Ponieważ miał zakaz publikowania czegokolwiek w Czechosłowacji, część przekładów ogłosił pod cudzymi nazwiskami lub pod pseudonimami. Był edytorem i jednym z tłumaczy samizdatowej antologii poezji polskiej Slovo a zeď (Słowo i mur), 1988.