Od maja do września Brygier odbywał szkolenia wojskowe, po czym znów został aresztowany i oskarżony o przynależność do KPP. Adwokatem komunistów był Stanisław Hejmowski. Brygier obronił się i został uwolniony od winy. W dniu 7 czerwca 1933 roku odbyło się posiedzenie Rady Miejskiej, które miało wybrać prezydenta Poznania. Jan Brygier w imieniu klubu zaproponował kandydaturę siedzącego w więzieniu Marcina Chwiałkowskiego, która ostatecznie otrzymała 4 głosy. W okresie kadencji, przez ponad 2 lata łącznie przebywał w więzieniu lub był aresztowany prewencyjnie. W dniu 31 grudnia 1933 przestał być radnym miejskim.
Lata 1934–1939 Po utraceniu mandatu radnego został bezrobotny. Niemożność zdobycia pracy spowodowała, że Brygier popadł w nędzę. Przeniósł się na działki w Górczynie, budując tam sobie altankę. Wkrótce ponownie został aresztowany, skazany na 3 lata za podburzanie tłumu w Urzędzie Pracy. Brygier odwołał się od wyroku i na rozprawie apelacyjnej został uniewinniony. W kwietniu 1937 roku został zesłany do obozu w Berezie Kartuskiej. Po sześciu tygodniach pobytu w obozie podpisał podłożoną przez komendanturę deklarację lojalności z władzami z adnotacją „nie będę z wami współpracował”. Po powrocie z obozu działał społecznie w Towarzystwie Ogródków Działkowych.