W strukturach PPS nie pozostał długo. Już w grudniu 1900 roku oboje małżonkowie Zielińscy wystąpili z partii. Nieznane są jednoznaczne powody tej decyzji. Należy sądzić, że bezpośrednim impulsem była, wydrukowana w „Przedświcie”, stanowcza krytyka broszury Zielińskiego „Strajk powszechny”. Jednak rzeczywiste motywy musiały być głębsze. Prawdopodobnie podstawową przyczyną był konflikt PPS i SDKPiL, szczególnie zaostrzony na Piątym Międzynarodowym Kongresie Socjalistycznym, który miał miejsce w Paryżu we wrześniu 1900 roku.
200 px|thumb|right|Kwestia kobieca – pierwsza broszura Zielińskiego dotycząca problematyki społecznej Po odejściu z PPS jeszcze mocniej zaangażował się w działalność społeczną i polityczną, zwłaszcza w kołach polskich robotników. W 1901 roku powołał towarzystwo robotnicze „Solidarność” wraz z działającą przy nim biblioteką. W latach 1903–1905 wraz z żoną zorganizował Polski Uniwersytet Ludowy, w Paryżu miano nawet żartować, że to trzecie dziecko małżonków Zielińskich. Przemawiał na wiecach, głosząc hasła anarchistyczne i broniąc idei internacjonalizmu, potępiając PPS za to, że osłabia sprawę rewolucyjną podnosząc hasła niepodległości Polski. W 1905 roku był współzałożycielem, korzeniami tkwiącej w ruchu wolnomularskim, Polskiej Sekcji Ligi Wolnej Myśli.