Czesław Kaczmarek wrócił do Kielc 2 kwietnia 1957.
W 1958 przeprowadził synod diecezjalny, dokonał reorganizacji administracyjnej diecezji; wspierał zgromadzenia zakonne.
9 czerwca 1959 rząd PRL zażądał od episkopatu usunięcia Kaczmarka z zajmowanego stanowiska, co spotkało się z odmową (episkopat uznał się za niekompetentny). Również papież tym naleganiom kategorycznie odmówił.
Władze PRL postanowiły zadać ostateczny cios, publikując w 1961 Zielony Zeszyt autorstwa byłego i ekskomunikowanego księdza Leonarda Świderskiego, w latach 1938–1942 sekretarza biskupa Kaczmarka i kanclerza kurii kieleckiej. Zawierał on uderzająco bulwersujące opisy z życia biskupa kieleckiego, przypisujące mu prowadzenie rozwiązłego trybu życia. Dwa lata później ukazały się kolejne publikacje Oglądały oczy moje oraz dalsza część Odmieni się jako orłowa młodość moja tego samego autora. W publikacjach autor powtórzył zarzuty postawione bpowi Kaczmarkowi podczas procesu we wrześniu 1953, nie zważając na to, że trzy lata później został on zrehabilitowany.