Od końca 1950 zaczął obowiązywać wobec niego "zapis” cenzury, co w praktyce pozbawiło go możliwości publikowania. Szykany obejmowały również synów. W czerwcu 1955 sąd koleżeński Związku Literatów Polskich skreślił go z listy członków, za napisanie nieopublikowanej Katolickiej Ballady, powstałej pod wrażeniem śmierci Konstantego Gałczyńskiego, z którym przyjaźnił się od czasów współpracy z „Prosto z Mostu”. W uzasadnieniu orzeczenia stwierdzono, że atmosfera ideowa utworu jest „głęboko sprzeczna z humanistycznymi ideami” obowiązującymi w ZLP i „działa na rzecz naruszenia patriotycznej jedności naszego narodu”Joanna Siedlecka: Obława. Losy pisarzy represjonowanych, Wyd. Prószyński i S-ka, Warszawa (2005) s. 103–126.Joanna Siedlecka: Sam w pustej sali, w: „Rzeczpospolita”, 12–13 lipca 2003, s. A12.. Obawiając się rewizji w domu, zniszczył wtedy kilka rękopisów, w tym większą część ukończonej już powieści Kaleki boże. Jej pozostały fragment opublikował w roku 1961 w opowiadaniu Tartak ruszył. Proces stanowił dla Grabskiego silny wstrząs, ślady tego odnaleźć można we wstępie do Blizn dzieciństwa oraz w wierszu Do przyjaciela Ballady, zamieszczonym w tomiku poezji Świat na podarunek (1958).