25 lutego tego samego roku to on poinformował Lenina o zajęciu Tbilisi i proklamowaniu Gruzińskiej Socjalistycznej Republiki Radzieckiej. Następnie wszedł do komunistycznego rządu gruzińskiego. Nieoficjalnie kierował tworzeniem gruzińskich jednostek Armii Czerwonej. W latach 1922–1926 był pierwszym sekretarzem Komitetu Centralnego Komunistycznej Partii Zakaukaskiej FSRR.
Wbrew zaleceniom Lenina, który doceniał poparcie, jakim cieszył się obalony rząd Demokratycznej Republiki Gruzji i zalecał Ordżonikidzemu zawarcie kompromisu z miejscowymi mienszewikami i gruzińską inteligencją, Ordżonikidze przeprowadził czystkę w kaukaskich strukturach partyjnych, w czasie której usunął z organizacji 1/5 jej składu, pozostawiając jedynie 20 tys. członków. Usunięci z partii byli zwolennikami zachowania przez Gruzję autonomii w miejsce forsowanego przez Ordżonikidzego scalania całego Zakaukazia w jednej republice. Forsowana przez Ordżonikidzego polityka natychmiastowej unifikacji Kaukazu Południowego doprowadziła go do gwałtownego konfliktu z przywódcami Komunistycznej Partii (bolszewików) Gruzji. Do swojego projektu federacji zakaukaskiej przekonał tylko trzech członków jej Komitetu Centralnego: Iwane Orachelaszwilego, Szalwę Eliawę i Aleksiego Gegeczkoriego. Pozostali w dniu 22 października demonstracyjnie podali się do dymisji.