został za to skazany na karę 25 lat więzienia, utratę praw publicznych na 10 lat i zdegradowanie do stopnia szeregowca (z majora) oraz pozbawienie Krzyży Kawalerskiego i Oficerskiego Orderu Odrodzenia Polski i innych odznaczeń. Po odbyciu 10 lat kary został zwolniony w drodze ułaskawienia, w ramach wymiany szpiegów pomiędzy CIA a KGB na moście Glienicke pomiędzy Poczdamem a ówczesnym Berlinem Zachodnim w 1985 r. Miał być wówczas wymieniony m.in. za wywiadowcę SB Mariana Zacharskiego. J. Pawłowski zdecydował się jednak pozostać w Polsce.
Po zwolnieniu z więzienia powrócił do amatorskiego uprawiania szermierki – zawodowego uprawiania zabroniły mu władze sportowe. Pod koniec życia zajął się malarstwem – głównie pejzażowym, a także bioenergoterapią. Napisał książki: Trud olimpijskiego złota (Warszawa 1973) i Najdłuższy pojedynek. Spowiedź szablisty wszech czasów – agenta CIA.
Życie prywatne Był dwukrotnie żonaty. Z aktorką Teresą Szmigielówną miał syna Piotra (zm. 2021) kajakarza, a z drugą żoną – Iwoną, syna Michała. Jego wnukami są aktorzy Stefan i Józef Pawłowscy.
Pochowany na cmentarzu w Falenicy, w której spędził ostatnie lata życia.