Jeszcze przed końcem drugiej kadencji burmistrza, Johanns wystartował w 1998 roku na urząd gubernatora Nebraski. Jego głównymi przeciwnikami w prawyborach byli kongresmen Jon Lynn Christensen i John Breslow, członek ówczesnej administracji stanowej. Kampania była niezwykle zacięta. Do dziś jest jedną z najdroższych w historii stanu. Kontrkandydaci Johannsa starali się ukazać siebie jako konserwatystów, burmistrz Lincoln uchodził zaś za kandydata nieco bardziej umiarkowanego. Początkowo faworytem był konserwatywny Christensen, ale seria kontrowersyjnych wypowiedzi znacznie pomniejszyła jego szanse. Ostatecznie zwycięzcą został Johanns. Zdobył 40% głosów wobec 30% Breslowa i 28% Christensena. W wyborach ogólnych przyszło mu się zmierzyć z Demokratą Billem Hoppnerem - szefem sztabu dwóch wcześniejszych gubernatorów z Partii Demokratycznej: Bena Nelsona i Boba Kerreya. Johanns pokonał rywala 54%-46%. Został wybrany ponownie w 2002 roku. Tym razem zmiażdżył swojego mało znanego konkurenta z Partii Demokratycznej 69-28%.

Był popularnym gubernatorem. W swojej pracy skupił się na takich zagadnieniach jak: ulgi podatkowe, zmniejszenie wpływu rządu na gospodarkę, ochrona tradycyjnych, rodzinnych wartości.