Jako stronnik opozycji w stosunku do władz centralnych ZHP (przede wszystkim przewodniczącego związku, wojewody śląskiego Michała Grażyńskiego), opowiadający się za autonomią harcerstwa, a przeciwko upolitycznieniu ZHP i wiązaniu z rządzącym obozem sanacyjnym, został 14 marca 1936 zawieszony w pełnieniu funkcji harcerskich pod pretekstem nadużyć finansowych i niegospodarności na zlocie. Podczas procesu przed Naczelnym Sądem Harcerskim Ludwig wykazał celowość wszystkich wydatków, mimo to zakwestionowano jedną z pozycji, w wysokości niespełna 2 złotych. Na mocy orzeczenia NSH z 17 maja 1936 otrzymał urlop karny do 2 czerwca 1937. Po jego zakończeniu na XVII Zjeździe Walnym Okręgu Warszawskiego ZHP 27 marca 1938 wszedł w skład Zarządu Okręgu. Wybór ten nie został jednak zatwierdzony przez naczelnictwo ZHP. W styczniu 1939 roku Ludwig ustąpił ze składu Zarządu.
Dalsze posunięcia Naczelnika Harcerzy Zbigniewa Trylskiego spowodowały konflikt, wskutek którego ogromna, solidaryzująca się z Ludwigiem, większość harcmistrzów warszawskich została pozbawiona stopni instruktorskich i w przededniu wojny, w maju 1939, znalazła się poza Związkiem Harcerstwa Polskiego (tzw. sprawa warszawska, sprawa Ludwiga).