Jednak na tym samym zjeździe zaczął się rysować rozłam. Grupa instruktorów z Leonem Jankowskim na czele, nastawiona radykalnie lewicowo, zaczęła dążyć do przekształcenia apolitycznego ruchu w organizację o zdecydowanie politycznym charakterze. Postulowała zakończenie okresu autonomii ruchu w ZHP i stworzenie organizacji z ZHP zrywającej. Ciołkosz i inny ideolog Wolnego Harcerstwa Stanisław Jerschina byli temu zdecydowanie przeciwni.
II Zjazd Wolnych Harcerzy Przed II Zjazdem Wolnego Harcerstwa środowiska warszawskie, łódzkie, krakowskie, lwowskie, kaliskie, tarnowskie i kilka innych wystąpiły z ZHP. Postępowała też radykalizacja poglądów, pod wpływem instruktorów związanych z coraz aktywniejszymi w Polsce komunistami (m.in. Jankowskiego). Wobec takiej zmiany, niektórzy sympatycy, w tym Alojzy Pawełek, zdecydowanie odcięli się od Wolnego Harcerstwa.
Na zjeździe krakowskim (1-2 lipca 1923) dwa nurty zdecydowanie się starły. Jankowski krytykował puszczaństwo, twierdząc, że można dzięki niemu wychować dzielnych ludzi, ale nie zmieni się ustroju. Optował za pacyfizmem, walką o sprawiedliwość społeczną i internacjonalizmem.