Przez wiele lat współpracował z Ławrientijem Berią, który wówczas był Sekretarzem Komitetu Centralnego KP(b) Gruzji, jako jego pomocnik. Pracując w KC KP(b), wykonywał różne funkcje, m.in. kierownika sekretariatu jednego z Oddziałów od 1932 do 1934, a następnie był kierownikiem specjalnej komórki KP(b) Gruzji, którą to funkcję sprawował do listopada 1936. W 1936 został majorem (merem) stolicy Gruzińskiej SRR i przewodniczącym rady sportowej, a następnie przewodniczącym Rady Sportowej Gruzińskiej SRR.
Po zwolnieniu Nikołaja Jeżowa ze stanowiska szefa NKWD i zastąpieniu go przez Berię w listopadzie 1938, nowy Ludowy Komisarz Spraw Wewnętrznych, na polecenie Sekretarza Generalnego WKP(b) Marszałka ZSRR Józefa Stalina, najpierw "oczyścił" centralę NKWD z ludzi swojego poprzednika (większość z nich rozstrzelano), a następnie zatrudnił w niej swoich zaufanych współpracowników z Gruzji, w tym Sołomona Milsztejna, któremu nadał rangę majora bezpieczeństwa państwowego. Na początku Sołomon Milsztejn pełnił funkcję zastępcy naczelnika Sekcji Śledczej Głównego Zarządu Bezpieczeństwa Państwowego NKWD, a następnie całego NKWD, którą kierował jako naczelnik Wasilij Siergijenko.