Obok Paula Leviego i , Rosenfeld należał do czołowych przedstawicieli lewicy wewnątrz SPD. Od 1927 wydawał wraz z Maxem Adlerem, Maxem Seydewitzem i pismo Klassenkampf. Marxistische Blätter – organ prasowy marksistowskiej lewicy w SPD.
W marcu 1931 Rosenfeld złamał dyscyplinę partyjną podczas głosowania w Reichstagu. We wrześniu 1931 został wykluczony z szeregów SPD. Rozczarowany bierną postawą SPD wobec nazistów oraz słabym programem gospodarczym, założył wraz z Seydewitzem Socjalistyczną Partię Robotników Niemiec (niem. Sozialistische Arbeiterpartei Deutschlands, SAD), której był wiceprzewodniczącym do 1933 r. Początkowo partia przyciągnęła wielu członków SPD, którzy pokładli w nowej formacji duże nadzieje. Sam Rosenfeld mówił: Partia, licząca ok. 20 tysięcy członków, umieszczana była na scenie politycznej pomiędzy KPD a SPD. W 1931 r. do SAP przyłączyli się członkowie Komunistycznej Partii Opozycja (niem. Kommunistische Partei-Opposition, KPO), co wkrótce doprowadziło do walk wewnątrzpartyjnych. Na początku 1933 r. Rosenfeld wystąpił z SAD i wezwał pozostałych członków partii do przyłączenia się do KPD – Seydewitz natomiast nawoływał do wstąpienia do SPD.