Jako legat i prymas odznaczył się organizując działalność Kościoła na rzecz wiernych, a także, w latach 1976–1977, organizując pomoc dla dotkniętego wojną domową Libanu.
22 maja 1977 arcybiskup Karekin Sarkisjan został wybrany na katolikosa i patriarchę cylicyjskiego (do śmierci poprzedniego patriarchy cylicyjskiego Chorena I w lutym 1983 był katolikosem-koadiutorem). Jako patriarcha cylicyjski Karekin II Sarkisjan doprowadził do intelektualnego i edukacyjnego ożywienia patriarchatu. Złożył wiele wizyt oficjalnych – w Libanie, Syrii, Iranie, na Cyprze, w USA, Kuwejcie i w krajach Zatoki Perskiej – oraz odbył wiele spotkań ekumenicznych, między innymi z papieżem Janem Pawłem II, arcybiskupem Canterbury Robertem Runcie, patriarchą koptyjskim Szenudą III i z przedstawicielami wyznań protestanckich. Opublikował wiele prac w zakresie teologii, filozofii, etyki i literatury oraz na temat Armenii.