15 stycznia 1977 roku przystąpił do Komitetu Obrony Robotników, zarekomendowany przez Władysława Siłę-Nowickiego. Głosowanie nad przyjęciem Stefana Kaczorowskiego odbyło się 3 stycznia 1977 roku, a jego kandydaturę zgłosił Jacek Kuroń. Kaczorowski natomiast natychmiast po przyjęciu w skład członków KOR-u przedstawił (7 lutego) wniosek o wykluczenie Jacka Kuronia z szeregów KOR jako „kryptokomunisty i targowiczanina”, w związku z jego postulatem „finlandyzacji” Polski. Wniosek ten nie został potraktowany poważnie przez pozostałych członków. Wystąpił z KOR-u kilka miesięcy później, 29 września tego roku w proteście przeciw warunkom przekształcenia KOR w KSS „KOR”.

Był jednym z 18 sygnatariuszy Apelu do społeczeństwa polskiego – pierwszego oficjalnego dokumentu Ruchu Obrony Praw Człowieka i Obywatela, stając się jednocześnie współzałożycielem tej organizacji 25 marca 1977 roku. W 1978 roku był członkiem Rady Konsultacyjnej przy redakcji niezależnego pisma „Opinia”, od 1978 r. – Rady Finansowej ROPCiO.