W 1962 wszedł do Biura Wojskowego utworzonego przez partię Baas w celu przeprowadzenia zamachu stanu i przejęcia tą drogą władzy w kraju. Wciągnął do spisku grupę oficerów niezwiązanych z partią, ale utożsamiających się z ideą panarabską, w tym Abd as-Salama Arifa. Na początku lutego 1962 został aresztowany, podobnie jak inny członek Biura Salih Mahdi Ammasz, co skłoniło pozostałych spiskowców na czele z Ahmadem Hasanem al-Bakrem do podjęcia natychmiastowych działań. Przeprowadzony 8 lutego zamach stanu zakończył się sukcesem baasistów, obaleniem rządu Abd al-Karima Kasima i straceniem jego samego. Władzę przejęła Narodowa Rada Dowódców Rewolucji zdominowana przez działaczy partii Baas. W nowym rządzie Ali Salih as-Sadi został ministrem spraw wewnętrznych i początkowo był najbardziej wpływową postacią, znaczącą więcej niż prezydent Arif i premier al-Bakr.