Wojska niemieckie wkroczyły do Jedwabnego 23 czerwca 1941 roku wieczorem. Wkraczających Niemców witano kwiatami. Następnego dnia grupa związanych z antysowieckim podziemiem uzbrojonych w okute kije Polaków napadła na gospodarstwo Aleksandra Wiśniewskiego we wsi Bartki. Był on podejrzewany o współpracę z NKWD i dekonspirację bazy partyzanckiej w Kobielnie. Sam Wiśniewski, a także jego brat ukryli się. Napastnicy pobili jego żonę i podpalili gospodarstwo. Następnego dnia obu braci Wiśniewskich rozpoznano w Jedwabnem. Obu braci, sowieckiego milicjanta, a także trzech Żydów podejrzewanych o współpracę z NKWD bito i torturowano na rynku, a następnie wydano w ręce niemieckich żandarmów, którzy ich zastrzelili. Według relacji Szmula Wasersztajna tego dnia miały miejsce napady na inne domy żydowskie.
Niemieckie oddziały frontowe bardzo szybko opuściły Jedwabne. Na miejscu pozostał ośmio- lub jedenastoosobowy posterunek niemieckiej żandarmerii. Być może dlatego nie ma jednoznacznych informacji o powołaniu w Jedwabnem lokalnej milicji czy samoobrony. Ukonstytuowały się natomiast władze miejskie. Burmistrzem został Marian Karolak, jego zastępcami Eugeniusz Śliwecki i Jan Sobuta, a sekretarzem Józef Wasilewski.