Osądzony i skazany na 12 lat więzienia za prowadzanie antypaństwowego i antyludowego ośrodka oraz „za kolaborację z Niemcami, usiłowanie obalenia ustroju PRL i propagandę na rzecz waszyngtońsko-watykańskich mocodawców”.
Dalsza działalność Na mocy postanowienia Naczelnej Prokuratury Wojskowej 8 lutego 1955 ze względów zdrowotnych udzielono mu półrocznego zwolnienia z odbywania kary. Mimo wielu pism ze strony biskupa i zapewnieniu władz o możliwości darowania reszty kary biskup został ponownie aresztowany i osadzony w mokotowskim więzieniu 3 lutego 1956. 7 maja 1956 Wojskowy Sąd Garnizonowy postanowił wobec więźnia zastosować amnestię, jednakże 17 maja doręczono mu wiadomość o przymusowym skierowaniu go na czas nieograniczony do klasztoru w Rywałdzie Królewskim. Wykończony chorobą oraz złymi warunkami biskup diecezjalny podjął samodzielną decyzję o wyjeździe 22 września 1956 do Warszawy, gdzie przebywał do 30 marca 1957, kiedy Naczelna Prokuratora Wojskowa wydała postanowienie o umorzeniu śledztwa w sprawie bpa Kaczmarka i współoskarżonych z nim osób z powodu braku dostatecznych dowodów.