Na początku 1948 CKW, zdominowany już przez zwolenników ścisłej współpracy z PPR, polecił odwołać Sita ze wszystkich funkcji partyjnych i stanowiska prezydenta Tarnowa (formalnie sam podał się do dymisji). Przekazany do dyspozycji Ministerstwa Pracy i Opieki Społecznej, został skierowany do Okręgowego Inspektoratu Pracy w Krakowie. W okresie poprzedzającym zjednoczenie partii, Sit obok Bolesława Drobnera, Zygmunta Bociana i in. – był zaliczany do „prawicowych elementów […] utrudniających pogłębienie jednolitego frontu z PPR…”. Na plenarnym posiedzeniu WK PPS w dn. 8 października 1948 w Krakowie Sit usunięty został z Rady Wojewódzkiej i skreślony z listy członków partii. W ślad za tym 1 czerwca 1949 przeniesiono go na inspektora pracy 37. Obwodu w Nowym Sączu, gdzie pracował do 30 listopada 1950. Po kilku miesiącach bezrobocia, w 1951 został zatrudniony w przedsiębiorstwie budowlanym w Tarnowie.