Przewodniczył również komisji, która oceniała zdolność oficerów do objęcia stanowisk w administracji publicznej. W 1888 roku awansował na generała porucznika (niem. Generalleutnant) i stanął na czele 2. Dywizji Piechoty Gwardii.
W 1890 roku zastąpił gen. Juliusa von Verdy du Vernois na stanowisku Ministra Wojny Królestwa Prus. Jego poprzednik ustąpił ze stanowiska po tym jak ustawa zwiększająca liczebność armii i poszerzająca zakres poboru została odrzucona przez Reichstag. Gen. von Kaltenborn-Stachau przygotował nową wersję ustawy, która zwiększała liczę personelu wojskowego do 70 tys. żołnierzy oraz ustalała czas trwania zasadniczej służby wojskowej na dwa lata. Zapisy nowego prawa spotkały się z niezadowoleniem kręgów wojskowych, a Minister Wojny był krytykowany za wywarcie zbyt małej presji na parlament. Powszechna krytyka gen. von Kaltenborn-Stachaua zbiegła się w czasie ze znacznym pogorszeniem się jego stanu zdrowia. Na początku 1893 roku stracił przytomność podczas mszy w Kościele Zamkowym i po tym wydarzeniu wystąpił z wnioskiem o rezygnację ze służby. Jego prośba nie została zaakceptowana przez cesarza Wilhelma II, który przyznał mu jedynie urlop zdrowotny. Generał spędził go w Szwajcarii, jednak jego stan zdrowia ulegał dalszemu pogorszeniu.