Podlegała profosowi generalnemu żandarmerii, który podlegał Departamentowi Spraw Wojskowych (Heimu-kyoku) w Ministerstwie Armii ( Rikugun-shō, znane również jako Ministerstwo Wojny), w zakresie obowiązków policyjnych przed Ministerstwem Spraw Wewnętrznych ( Naimu-shō), a w zakresie wymiaru sprawiedliwości przed Ministerstwem Sprawiedliwości (, Shihō-shō, obecnie Hōmu-shō).
Początkowo do zadań Kempeitai należało utrzymywanie porządku w armii, choć nigdy nie była to typowa żandarmeria. Tłumiła protesty wśród ludności wiejskiej, sprzeciwiającej się poborowi do wojska. Zajmowała się też zaopatrzeniem. Z czasem postawiono ją na straży porządku publicznego, wspierając przy tym tradycyjną policję w prefekturach. Kempeitai razem z Tokubetsu Kōtō Keisatsu (Specjalną Wyższą Policją), nadzorowała ruchy studenckie, organizacje komunistyczne i pacyfistyczne. W czasie II wojny światowej Kempeitai zasłynęła jako główne narzędzie represji wobec jeńców wojennych oraz cywilów. W tym okresie liczyła ok. 36 tys. funkcjonariuszy.