Początkowo odnosił sukcesy podczas drugiej ofensywy Tuchaczewskiego. Udaremnił próby stabilizacji frontu i dotarł aż nad dolną Wisłę. Po Bitwie Warszawskiej osłaniał odwrót czerwonej 4. Armii do Prus Wschodnich. Podczas odwrotu trzykrotnie przebijał się przez pierścień polskiego okrążenia, ale pod Kolnem został zmuszony do przekroczenia granicy Prus Wschodnich, gdzie korpus został internowany, a sam Gaj uwięziony przez Niemców w obozie w Salzwedel koło Berlina. Dowodzone przez niego oddziały oskarżane są o to, że w czasie odwrotu zamordowały około 1000 polskich jeńców. Licznych mordów, gwałtów i rabunków dopuściły się także podczas walk o Płock. mały|334x334px|Znaczek poczty Armenii wydany z okazji 125. rocznicy urodzin Gai Gaja z 2012 Dwukrotnie odznaczony Orderem Czerwonego Sztandaru: w 1918 – za dokonania wojenne w rejonie Wołgi i w 1920 – za kampanię w wojnie polsko-bolszewickiej.
W 1922 Gaj został ludowym komisarzem armii i marynarki Armeńskiej SRR, potem wykładowcą i pracownikiem naukowym.
Napisał książki pt. Na Warszawę!