Powołanie tego ciała miało być, w zamyśle papieża, wyrazem życzliwości wobec chrześcijan-niekatolików.
Sekretariat aktywnie uczestniczył w przygotowaniach do Soboru, przygotowując schematy, jak również dobrze służył obradom Soboru, wnosząc do schematów poprawki żądane przez ojców soborowych. Sekretariat opracował projekty dekretu o ekumenizmie Unitatis redintegratio, deklaracji o wolności religijnej Dignitatis humanae i deklaracji o stosunku kościoła do religii niechrześcijańskich Nostra aetate, a także uczestniczył w pracach nad konstytucją dogmatyczną o kościele Lumen gentium. Inicjatywą sekretariatu było zaproszenie na Sobór obserwatorów innych kościołów i wspólnot chrześcijańskich. W toku Soboru, 15 stycznia 1963, Sekretariat został podniesiony do rangi komisji soborowej.
Po zakończeniu Soboru Sekretariat kontynuował działalność. 3 stycznia 1966 papież Paweł VI włączył go w strukturę Kurii Rzymskiej jak stałą dykasterię.