Aresztowany 12 grudnia 1947 w Krakowie i osadzony w więzieniu mokotowskim. Po trzyletnim ciężkim śledztwie, podczas którego był wielokrotnie torturowanyM.Szejnert, s. 69., m.in. przez Józefa Różańskiego, został 14 października 1950 wraz z sześcioma towarzyszami broni oraz członkami IV Zarządu Głównego WiN-u (Józefem Batorym, Franciszkiem Błażejem, Łukaszem Cieplińskim, Mieczysławem Kawalcem, Adamem Lazarowiczem, Józefem Rzepką) skazany przez Wojskowy Sąd Rejonowy w Warszawie Sr.1099/50 (ława pod przewodnictwem płk Aleksandra Wareckiego) na podstawie 86 § 1,2 KKWP 7 Dekretu na karę śmierci„Księga najwyższego wymiaru kary” w .
Został stracony nad ranem 1 marca 1951 roku. Współwięzień Romuald Woźniacki opisuje, że Karol Chmiel wyrywał się strażnikom przed śmierciąM.Szejnert, str 154..
W więzieniu napisał piosenkę na melodię „Czerwonych maków”: „Czy widzisz te mury czerwone, to grozy i kaźni jest dom...”.
Upamiętnienie Jego grób symboliczny znajduje się na Cmentarzu Wojskowym na Powązkach w Warszawie w Kwaterze „Na Łączce”, a rzeczywiste miejsce pochówku nie jest znane.
W dniu 1 marca 2013 r.