Okazało się to jednak niemożliwe, gdyż po likwidacji przez polskie władze „Zmahania”, do przyjęcia władzy w Zarządzie Centralnym zaczęli dążyć komuniści. Konflikty w kierownictwie Towarzystwa doprowadziły do podupadnięcia kulturalno-oświatowej roli TBS. Wykorzystała to KPZB, opanowując na początku lat 30. wiele kół terenowych, głównie w województwach poleskim i nowogródzkim. W odpowiedzi polskie władze zlikwidowały ich działalność.
W ten sposób zasięg działań Towarzystwa poważnie się zmniejszył. Wiele istniejących struktur terenowych było nękanych ciągłymi rewizjami i okresowymi zawieszeniami działalności. Na początku 1932 liczba członków TSB spadła do ok. 8 tys., a wielu z nich przestało opłacać składki. Lokalnym zarządom zaczęło brakować pieniędzy na utrzymanie lokali i wynagrodzenia instruktorów. Wskutek małej aktywności Zarządu Centralnego TSB nie odbył się zjazd planowany na 1932. Pod koniec 1933 największa liczba kół terenowych działała w województwie białostockim. Na terenie pozostałych województw północno-wschodnich struktury Towarzystwa zostały zawieszone lub zdelegalizowane. Działał natomiast Zarząd TSB w Wilnie.