Wcześnie wstąpił do młodzieżówki katolickiej partii Centrum, tzw. Windthorstbund – organizacji młodzieżowej nazwanej imieniem Ludwiga Windthorsta, a następnie do partii Centrum, z ramienia której zasiadał w Reichstagu (1912–1918, 1920–1933) oraz w Landtagu Wirtembergii (1913–1933). Podczas I wojny światowej Bolz przebywał na froncie zachodnim, a także pracował w urzędzie ds. odszkodowań (niem. Reichsentschädigungsamt) w Brukseli. W 1919–1920 był członkiem Zgromadzenia Narodowego (niem. Weimarer Nationalversammlung). W 1919, po śmierci Johannesa von Kienego (1852–1919), został ministrem sprawiedliwości w Wirtembergii – w rządzie Wilhelma Blosa (SPD), a pięć lat później ministrem spraw wewnętrznych. W 1920 poślubił Marię Hoeness (1882–1948), z którą miał jedną córkę Mechtild.
Bolz reprezentował w polityce filozofię chrześcijańską: