Po objęciu władzy w FBI Hoover przeprowadził czystkę wśród agentów, która miała na celu zwolnienie tych skorumpowanych i oskarżonych o korupcję, w 1925 opracował kodeks postępowania dla śledczych. Zwolnił także kobiety pracujące tam jako agentki specjalne, a zakaz wykonywania tej funkcji przez kobiety utrzymywał się w FBI aż do końca kierowania nim przez Hoovera w 1972 roku. J. Edgar twierdził, że kobiety nie nadają się do pracy w charakterze agentów specjalnych, ze względu na ich "nieprzewidywalny" charakter i lepiej sprawdzają się jako pracowniczki biura.
W okresie prohibicji w Stanach Zjednoczonych miał miejsce rozkwit przestępczości zorganizowanej, konkurującej o rynek handlu nielegalnym alkoholem. Hoover postanowił stanąć w opozycji do postępującej romantyzacji i popularności niektórych gangsterów (np. Bonnie i Clyde’a). Za cel obrał stworzenie z Biura symbolu porządku i prawa. Agenci Biura, często nazywani G-Men (Government Men) przeważnie byli biali i wykształceni. Jako dyrektor dbał o rozgłos prowadzonych przez Biuro akcji i sukcesów podwładnych mu agentów w ściganiu przestępców, kierowana przez niego agencja stała się szerzej znana przez opinię publiczną na przełomie lat 20. i 30. XX wieku.