Albert Patterson został w 1954 roku mianowany na stanowisko prokuratora generalnego Alabamy pod hasłem ścisłej walki z przestępczością, ale w czerwcu tegoż roku został zastrzelony.
John został mianowany przez demokratów kandydatem w specjalnych wyborach na miejsce opróżnione przez zamordowanego ojca i wygrał.
Jako szef stanowego wymiaru sprawiedliwości zasłynął nie tylko gorliwym zwalczaniem przestępczości pospolitej, ale i nałożeniem zakazu działalności na organizacje murzyńskie, działające na rzecz zniesienia segregacji rasowej oraz zwalczaniem bojkotu przez nich komunikacji miejskiej.
Gubernator Ponieważ w owym czasie w Alabamie, stanie Głębokiego Południa, dominowały tendencje konserwatywne w kwestii praw obywatelskich, Patterson (urzędujący gubernator-demokrata Jim Folsom sr. nie mógł ubiegać się zgodnie ze stanowym prawodawstwem o drugą kadencję) został kandydatem swej partii na gubernatora i, z poparciem m.in. Ku Klux Klanu wdzięcznego za jego działalność w kwestii murzyńskiej, z łatwością wygrał wybory w tym ówcześnie zdominowanym przez demokratów stanie i został 49. i najmłodszym (w wieku 38 lat) gubernatorem w historii Alabamy. W prawyborach pokonał m.in.