Ustawa nadawała rządowi Rzeszy prawo wydawania rozporządzeń z mocą ustawy bez udziału parlamentu.

Po przeniesieniu prałata Ludwiga Kassa do Rzymu Bolz znalazł się w zarządzie partii Centrum, lecz odmówił przyjęcia stanowiska jej przewodniczącego.

W czerwcu 1933 Bolz został aresztowany i wiele tygodni spędził w więzieniu w twierdzy Hohenasperg (niem. Festung Hohenasperg), gdzie przebywali więźniowie polityczni związani z partiami i organizacjami katolickimi, socjaldemokratycznymi i komunistycznymi.

Działalność konspiracyjna Po wyjściu z więzienia Bolz znalazł schronienie w opactwie w Beuron. Po wykluczeniu z życia politycznego żył z renty urzędniczej. Pracował jako doradca podatkowy opactwa i doradzał w kwestiach prawnych katolickiej organizacji charytatywnej Caritas. Planował podjęcie dalszych studiów na politechnice w Stuttgarcie, lecz zostało mu to zabronione. Na własną rękę studiował zagadnienia ekonomiczne i kwestie społeczne, m.in. czytając encykliki papieskie. Wyniki swoich przemyśleń zawarł w tekście pt. „Akcja katolicka i polityka” (niem. Katholische Aktion und Politik). W tym okresie Bolz spotykał się regularnie w stuttgarckim lokalu Der Europäische Hof z przyjaciółmi, m.in. z politykami chrześcijańskimi , , Josephem Ersingem, , i Gebhardem Müllerem.