Herman Beck, wpływowy żydowski kupiec z Birmingham, namawiał swojego młodego przyjaciela Blacka, aby ten wstąpił do Klanu, pomagając w ten sposób w walce z „problematycznym elementem” w Alabamie.
Kariera w Senacie W 1926 starał się o mandat senatora reprezentującego stan Alabama – miał on objąć stanowisko po ustępującym Oskarze Underwood. W tamtym czasie Partia Demokratów była dominującą siłą polityczną w Alabamie, tak więc zwycięstwo nad konkurentem z partii Republikańskiej – E.H. Dryerem – przyszło Blackowi łatwo, wygrywając głosowanie z 80% poparciem. W 1932, Black ponownie został wybrany senatorem, tym razem pokonując Republikanina J. Theodora Johnsona zdobywając 86,3% głosów.
Senator Black zyskał reputację wytrwałego i utalentowanego śledczego. W 1934, dla przykładu, zasiadał na czele zgromadzenia mającego na celu wyjaśnienie okoliczności przyznania kontraktów dla przewoźników lotniczych Poczty USA, wtedy pod nadzorem Waltera Fogler Browna, co doprowadziło do ujawnienia wielu nieprawidłowości – później cała sprawa nazwana została Skandalem Poczty Lotniczej. W celu skorygowania powstałych nadużyć Black przygotował ustawę, nazwaną później ustawą Black – McKellar, która to następnie przekształcona została w ustawę o poczcie lotniczej z 1934.