W XVII wieku w Vardø skazano za czary i spalono na stosie ponad 90 osób. W XVIII–XIX w. dużą rolę odgrywał handel z rosyjskimi Pomorcami. W 1789 roku Vardø otrzymało prawa miejskie. Pod koniec XIX w. miasto liczyło prawie 2600 mieszkańców. Liczba ta wzrosła do 3450 w 1930 roku. Podczas II wojny światowej 7 lipca 1940 miasto trafiło pod okupację niemiecką. Po ataku Niemiec na ZSRR Vardø stało się strefą przyfrontową i działały tam radzieckie grupy specjalne, przy wsparciu części ludności. Miasto uległo dużym zniszczeniom pod koniec wojny w 1944 roku, gdy Niemcy w celach obronnych wysiedlili ludność i zniszczyli infrastrukturę. W październiku 1944 zostało zajęte przez wojska radzieckie, które do września 1945 utrzymywały tam administrację wojskową.
Gmina Vardø została ustanowiona 1 stycznia 1838. Ówczesne prawodawstwo wymagało wprawdzie, aby miasto było administracyjnie wydzielone od towarzyszącej mu gminy wiejskiej, jednak z uwagi na małą liczbę ludności w kilku przypadkach, m.in. Vardø, uczyniono wyjątek. Gmina wiejska, Vardø herred, została wydzielona w 1868 (istniała do 1964, kiedy została włączona do Vardø;