Po odbyciu kary zamieszkał w Nysie. Początkowo był pracownikiem szpitala miejskiego. W latach 1956–1958 pełnił obowiązki przewodniczącego prezydium Komitetu Rodzicielskiego w Liceum Ogólnokształcącym Carolinum. W 1957 od podstaw stworzył Ognisko Muzyczne, przy którym w latach 1959–1962 działało także przedszkole muzyczne. Rozpoczął przygotowania do adaptacji zabytkowego kolegium św. Anny przy Rynku Solnym na Szkołę Muzyczną. Podjął zaoczne studia, przygotowując się do objęcia stanowiska dyrektora tej tworzącej się placówki. 1 lutego 1962 decyzją władz miasta został zdjęty ze stanowiska i przeniesiony do pracy w inwestycjach miejskich.
Poezja towarzyszyła mu przez całe życie, lecz dopiero w 1992 wydał pierwszy tomik wierszy Dar codzienności, a już po jego śmierci zostały odnalezione i wydane w tomiku Późne żniwo wiersze z okresu wojny i uwięzienia.
W 1992 otrzymał Krzyż Kawalerski Orderu Odrodzenia Polski i honorową odznakę „Zasłużony dla Ziemi Nyskiej”. W 2002 sali koncertowej Państwowej Szkoły Muzycznej I i II Stopnia w Nysie nadano imię Jerzego Kozarzewskiego.