Od maja do lipca 1978 był wiceprzewodniczącym Rady Rewolucyjnej Afganistanu i wicepremierem, następnie od lipca do września 1979 ambasadorem Afganistanu w Czechosłowacji. Jego „zesłanie” na placówkę wynikało z popadnięcia w konflikt z Tarakim i Aminem. 23 grudnia 1979 roku, tuż przed rozpoczęciem sowieckiej interwencji w Afganistanie, został przetransportowany przez KGB z powrotem do Kabulu. 28 grudnia, dzień po zabiciu przez komandosów z Grupy Alfa KGB ZSRR Hafizullaha Amina, został wybrany na stanowisko sekretarza generalnego KC ALDPJ, przewodniczącego Rady Rewolucyjnej Afganistanu, premiera oraz naczelnego dowódcy sił zbrojnych. Oficjalnie Karmal ogłosił, że stanął na czele „powstania ludowego” przeciw „tyranii Amina”. W rzeczywistości był jednak marionetką w rękach przywódców ZSRR. W maju 1986 został zastąpiony przez Mohammada Nadżibullaha. Po odsunięciu od władzy wyjechał do Moskwy, gdzie zmarł.