Od 1919 do 1920 roku działał w Ukraińskiej Partii Komunistów (UKP), później wraz z jej probolszewickimi działaczami wszedł w skład KP(b)U, jednak opowiadał się za znaczną autonomią Ukrainy w stosunku do Rosji. Sprawował urząd komisarza ludowego oświaty (1919) oraz spraw wewnętrznych (1920) w rządzie Chrystiana Rakowskiego, a w 1921 roku był posłem Ukraińskiej SRR w Warszawie. Po powrocie z placówki redagował Czerwonyj szlach, kierował również wydziałem propagandy i agitacji KP(b)U. Od 29 września 1924 do 2 lutego 1927 roku znów sprawował urząd komisarza ludowego oświaty USRR, opowiadał się polityką ukrainizacji.
W rozmowie ze Stalinem w październiku 1925 roku opowiedział się za usunięciem Łazara Kaganowicza ze stanowiska I sekretarza KP(b)U. Nie spotkało się to jednak ze zrozumieniem Stalina, który w liście Do Towarzysza Kaganowicza i innych członków Politbiura KC KP(b)U z 26 kwietnia 1926 roku oskarżył Szumskiego o „szerzenie nastrojów antyrosyjskich na Ukrainie”. Od jego nazwiska ukuto określenie „szumskizm”, będące synonimem odchylenia nacjonalistycznego w USRR. W czerwcu 1926 roku złożył samokrytykę. W lutym 1927 odwołany ze stanowiska komisarza oświaty i przeniesiony na drugorzędne stanowisko w związkach zawodowych do Moskwy.