Inicjatywa powołania Komitetu była spontaniczna i oddolna, która wyszła przede wszystkim od ludzi skupionych wokół byłego Związku Literatów Polskich, zaniepokojonych nieznanymi losami aresztowanych ludzi w nocy z 12 na 13 grudnia 1981. Pierwsze prace podjęto w lokalu ZLP przy ul. Krakowskie Przedmieście 87/89. Następnie skierowano kroki ku duszpasterzom, najpierw ku kościołowi św. Anny, gdzie była siedziba Duszpasterstwa akademickiego, którą kierował początkowo z własnej inicjatywy, a następnie został wyznaczony przez prymasa Polski, ks. Józef Maj. Podobną akcję podjęto w siedzibie Duszpasterstwa Środowisk Twórczych przy kościele św. Marcina przy ul. Piwnej 9 w Warszawie. Tam też po zawieszeniu ZLP, Komitet znalazł swoją ostateczną siedzibę w klasztorze Sióstr Franciszkanek Służebnic Krzyża.
Dekret Prymasa Polski powołującego Komitet został wydany 17 grudnia 1981. Powstały następnie w wyniku akcji społecznej jego struktury, a z czasem stał się on instytucję kościelną. Pierwsze inicjatywy Komitetu skoncentrowały się wokół pomocy uwięzionym członkom stowarzyszeń twórczych i naukowych, a następnie się rozszerzyły i objęły internowanych działaczy związku NSZZ „Solidarność”.