Pod koniec lat 80. zaangażował się w działalność ruchu narodowego Ormian zamieszkujących Górski Karabach (który od ormiańskiej nazwy tej krainy – Arcach nosił nazwę ruchu arcachskiego). W tym samym czasie coraz częściej zaczęło dochodzić do napięć etnicznych pomiędzy mieszkającymi w tym rejonie Ormianami i Azerami. Ormianie dążyli do przyłączenia Nagorno-Karabachskiego Obwodu Autonomicznego (wchodzącego w skład Azerbejdżańskiej SRR) do Armeńskiej SRR.

W marcu 1988 Koczarian wstąpił do nowo założonej grupy politycznej „Krunk”, w której objął funkcję kierownika sekcji ideologicznej. W grudniu 1988 grupa została rozwiązana decyzją władz radzieckich, a jej kierownictwo zostało poddane represjom (podobnie jak liderzy innej ormiańskiej organizacji narodowej – Ormiańskiego Ruchu Narodowego, dawnego Komitetu „Karabach”). W miejsce „Krunk” Koczarian powołał nową grupę pod nazwą „Miacum”, opowiadającą się za przyłączeniem Karabachu do Armenii.

W 1989 i 1990 Koczarian wybierany był deputowanym Rady Najwyższej Armenii oraz członkiem Prezydium Rady. W 1990 wystąpił z KPZR. We wrześniu 1991 poparł deklarację niepodległości Republiki Górskiego Karabachu.