Nowo zorganizowana żandarmeria w Księstwie nie była scentralizowana, dzieliła się na odrębne jednostki organizacyjne w każdym z czterech departamentów, a wprowadzone zasady rekrutacji były dość restrykcyjne. Spośród wojskowych przyjmowano jedynie ochotników pomiędzy 30 a 40 rokiem życia, przy czym pierwszeństwo mieli kandydaci umiejący czytać i pisać. Od zgłaszających się zaś cywili nierzadko wymagano znajomości języków obcych. Pod koniec 1814 roku łącznie w Księstwie służyło 158 żandarmów: w departamencie warszawskim - 56 osób, kaliskim - 80, krakowskim - 7, radomskim - 15.
Żandarmeria ta nie była formacją czysto wojskową, lecz miała charakter policyjny. Służba w niej polegała na utrzymaniu bezpieczeństwa, spokoju i porządku w kraju oraz obronie obywateli przed zbiegami, dezerterami i maruderami. Ponadto żandarm miał za zadanie eskortować transporty, egzekwować podatki, zapobiegać nadużyciom poszczególnych komend wojskowych, śledzić włóczęgów i ludzi naruszających porządek prawny. Kolejnym charakterystycznym wyznacznikiem żandarmerii Księstwa Warszawskiego była jej zależność nie od władz wojskowych, lecz od administracji cywilnej. Dlatego żandarmi pełnili służbę we własnym departamencie, nie pobierając żołdu. Wydawano im jedynie z magazynów państwowych żywność i furaż, czyli paszę i obrok dla koni.