Kariera zawodowa Zaczęła karierę od pracy nauczycielki w szkole dla czarnoskórych w Marion. W 1939 poślubiła pierwszego męża, Jamesa Goble. Zapisała się na studia magisterskie, jednak przerwała je, gdy zaszła w ciążę. W ciągu kilku następnych lat zajmowała się domem i dorabiała jako nauczycielka – nadal mając jednak nadzieję na pracę naukową.

W 1952 krewny wspomniał jej, że NACA (późn. NASA) rekrutuje matematyków w Wirginii. Zgłosiła się tam i uzyskała pracę od 1953. Między 1953–1958 pracowała jako obliczeniowiec. Początkowo należała do prowadzonego przez Dorothy Vaughan zespołu West Area Computers, przeniesiono ją jednak wkrótce do działu planowania i kontroli lotów. Według archiwum historii mówionej dotyczącej tego czasu:

Prawna segregacja jej miejsca pracy została zniesiona dopiero w 1958 przy przekształceniu NACA we współczesne NASA. Od 1958 do przejścia na emeryturę w 1986 Johnson pracowała jako technolożka lotnictwa i kosmonautyki. Obliczyła okna startowe i trajektorię lotu statku Alana Sheparda 5 maja 1961 w pierwszej amerykańskiej misji załogowej Mercury-Redstone 3. Przy jego powrocie na Ziemię dokonała kalkulacji pozwalających szybko odnaleźć miejsce lądowania kapsuły. Przygotowywała też karty nawigacyjne dla astronautów na wypadek awarii sprzętu elektronicznego.