Kariera polityczna W 1835 roku został wybrany do legislatury stanowej Tennessee i dołączył do Partii Demokratycznej. Pięć lat później wsparł Martina Van Burena w kampanii prezydenckiej, a od 1843 roku, przez dziesięć lat, zasiadał w Izbie Reprezentantów. Był zwolennikiem ludzi pracy i ich interesów, przez co jego działania nie zawsze były zgodne z ideami jego partii.
W 1853 roku, po zmianie okręgów wyborczych, został wybrany gubernatorem Tennessee i pełnił tę funkcję przez dwie, dwuletnie kadencje. Następnie, w 1857, został wybrany do Senatu USA, gdzie zasiadał przez pięć lat. W czasie pełnienia tej roli nadal opowiadał się za rządami ludzi pracy. Nie był zwolennikiem niewolnictwa, ale też go nie zwalczał, gdyż uważał je za część składową gospodarki plantacyjnej. Kiedy stany południowe postanowiły dokonać secesji, Johnson, jako jedyny senator z Południa, potępił ją, uważając to za zdradę stanu. Ponieważ plantatorzy z Tennessee również wymusili decyzję o wystąpieniu z Unii, musiał on uciekać do Kentucky. Po zajęciu części stanu przez oddziały generała Granta, Johnson powrócił i został wojskowym gubernatorem Tennessee, w randze generała brygady, mianowanym przez Abrahama Lincolna. Jego działania na rzecz jedności kraju, zaowocowały propozycją nominacji wiceprezydenckiej z ramienia Partii Republikańskiej.