Podczas sprawy, w której Black był obrońcą Afroamerykanina zmuszonego do niewolnictwa, a później osadzonego, Black zaznajomił się z sędzią prowadzącym sprawę – A. O. Lane'em. Kiedy w 1911 Lane został wybrany do komisji miasta Birmingham, poprosił on Blacka aby został biegłym policyjnym – funkcja ta była jedynym sądowym doświadczeniem poprzedzającym otrzymanie mandatu do Sądu Najwyższego. W 1912 Black zrezygnował z bycia biegłym i powrócił do praktyki prawniczej. Jednak tylko na krótko rozstał się z pełnieniem oficjalnej funkcji publicznej. W 1914 rozpoczął czteroletnią kadencję jako prokurator hrabstwa Jefferson.
Trzy lata później, podczas I wojny światowej, Black zrezygnował z funkcji prokuratora aby wstąpić do Armii USA. Zaciągnął się w Ośrodku Szkoleniowym dla Oficerów w forcie Oglethrope w stanie Georgia gdzie dosłużył się stopnia kapitana. Black służył w 81 Batalionie Artylerii w Chattanooga, Tennessee jednak nigdy nie brał udziału w walkach. We wrześniu 1918 powrócił do swojej praktyki prawniczej w Birmingham.