Mimo tego wokół jego osoby narosła fala krytyki, pojawiły się również oskarżenia o udział we wspomnianym włamaniu – 15 lipca 1832 roku, pod pretekstem choroby żony zrezygnował ze służby.
W 1833 roku założył prywatne biuro informacyjne (fr. Le bureau des renseignements) – pierwsze na świecie biuro detektywistyczne. Zatrudniał byłych więźniów, a ich nieortodoksyjne jak na tamte czasy metody pracy wywołały falę niechęci. Prędko znalazły się dowody na nieprawomyślne postępowanie Vidocqa – w wyniku przeszukania jego domu odnaleziono dokumenty świadczące o korupcji i licznych przestępstwach, za co Vidocq trafił do więzienia. Po kilku dniach został jednak zwolniony.
Lata 1842–1843 spędził w celi, na co wpływ mogła mieć rosnąca popularność jego biura detektywistycznego, na które nieprzychylnym okiem spoglądali wpływowi oficjele państwowi. Do wcześniejszego zwolnienia przyczynili się przyjaciele – hrabia Gabriel de Berny oraz prokurator Franck-Carre.
thumb|Wpis w rejestrze zgonów kościoła w Saint-Denis