Po powrocie do Ełku Sawicki zorganizował wspólnie z nimi zebranie, na którym zadecydowali o powołaniu do życia Masurenbundu (Związku Mazurów). Pierwsze publiczne zebranie nowo powstałego Związku odbyło się 13 kwietnia 1924 r. w Sochach w powiecie ełckim. Na zebraniu tym przedstawiono żądania Związku: zastąpienie urzędników niemieckich na Mazurach Mazurami, oddania parcel rządowych i kredytów na Mazurach przede wszystkim Mazurom, przywrócenie Mazurom starych praw i przywilejów, wprowadzenie ich języka ojczystego do szkół i bezwzględnego udzielania nauki religii i śpiewu w tym języku. Podobnie jak w okresie działalności Mazurskiej Partii Ludowej podniesiono hasło Mazury dla Mazurów. Po zebraniu w Sochach liczba członków Związku wzrosła do 180.
W początkowej fazie istnienia Związek posiadał niewielkie wpływy, toteż władze niemieckie nie przeszkadzały w jego działalności. Później jednak dostrzegając kontakty z ruchem polskim i wzrost popularności ruchu mazurskiego, Niemcy rozpoczęli przeciwdziałanie. Zaczęły się ataki prasowe, bojkot handlowy jednego z liderów Związku Mazurów – Adolfa Szymańczyka, zwalnianie z pracy urzędników i pracowników związanych z ruchem.