Zarządził on szeroko zakrojone śledztwo w sprawie śmierci Ksenofontova, które doprowadziło do szeregu aresztowań ważnych członków OB PPS FR, zesłanych następnie - wyrokiem sądu - na Syberię. To było powodem wydania przez Wydział Bojowy wyroku śmierci na Bielskiego.

Trudnego do odnalezienia pułkownika, pojawiającego się w mieście tylko w ubraniu cywilnym, namierzono 2 lutego 1907 na Wzgórzu Tumskim. Natychmiast udali się tam Kazimierz Pielat, Leon Dziczkowski i Piotr Rydzewski "Wielki". Pierwszy z nich wykonał rozkaz Wydziału Bojowego i strzelił w głowę pułkownika Bielskiego, po czym całej trójce udało się zbiec. Jednak w noc po zamachu policja aresztowała Dziczkowskiego i Pielata, którego niedługo potem wypuszczono na wolność.

Do końca 1907 roku było tych aresztowań tyle, że Kazimierz Pielat doszedł do wniosku, iż przyczyniła się do nich zdrada kogoś z szeregów partii. Bieg wypadków oraz szerokie kontakty Feliksa Gadzalińskiego sprawiły, że to on został przez Pielata o nią posądzony. Następnie skazany na karę śmierci. 25 marca Pielat strzelał do Gadzalińskiego w Słupnie, jednak z powodu ciemności zdołał go tylko zranić. Ciężko rannego Feliksa przewieziono do szpitala, gdzie opiekowała się nim żona i gdzie 29 marca oboje zginęli od kul innego bojowca, Witolda Habelmana "Marcina".