W wyborach z 5 marca 1933 roku zdobył z list partii Zentrum mandat deputowanego do Reichstagu. Następnie pozbawiony wszystkich funkcji publicznych przez władze nazistowskie. W 1934 wstąpił do ruchu oporu i ściśle współpracował z Wilhelmem Leuschnerem i Maxem Habermannem. W 1938 aresztowany przez Gestapo z podejrzeniem o zdradę stanu, wypuszczony z aresztu po kilku miesiącach. Następnie nawiązał współpracę z Carlem Friedrichem Goerdelerem, stając się jednym z głównych działaczy ruchu oporu z tzw. Kölner Kreis. Po jego aresztowaniu Kaiser ukrywał się w Babelsbergu.
Po wojnie współorganizował powołanie CDU w Berlinie, będąc w latach 1946–1947 przewodniczącym CDU-Ost. W 1946 roku został członkiem Rady Miejskiej Berlina, a od 1948 roku był członkiem Rady Parlamentarnej w Bonn. lewo|mały|Grób Jakoba Kaisera w Berlinie W latach 1949–1957 sprawował mandat deputowanego do Bundestagu, a 20 września 1949 został powołany na stanowisko ministra spraw wewnątrzniemieckich w I rządzie Konrada Adenauera. Utrzymał tę funkcję także w II rządzie kanclerza Adenauera.