W latach 1976–1977 przebywał w Paryżu, gdzie ukazała się jego książka Kościół, lewica dialog. Po powrocie do Polski włączył się w kwietniu 1977 w działalność istniejącego już od kilku miesięcy Komitetu Obrony Robotników, jednej z najbardziej znanych organizacji opozycyjnych lat 70., stając się jednym z najbardziej aktywnych działaczy opozycji. Od 1977 należał do najważniejszych członków Komitetu Samoobrony Społecznej „KOR”. Był też jednym z pomysłodawców, sygnatariuszem deklaracji założycielskiej z 1978 i następnie wykładowcą Towarzystwa Kursów Naukowych. Według Andrzeja Paczkowskiego w tym okresie funkcjonariusze komunistycznych służb specjalnych przygotowywali plany zamachu na jego życie.

W latach 1977–1989 był redaktorem lub współpracownikiem niezależnych pism wychodzących w tzw. drugim obiegu, tj. „Biuletyn Informacyjny”, „Zapis”, „Krytyka”. Wchodził też w skład kierownictwa największej podziemnej oficyny wydawniczej NOWa. Do końca lat 70. został łącznie około stu razy zatrzymany, kilkakrotnie także pobity. Ponownie aresztowano go w okresie sierpnia 1980, zwolnienie uzyskał na mocy porozumień sierpniowych.