Wyspa nie jest zbyt wielka, przez co zróżnicowanie jej powierzchni nie jest duże. Widoczne są jednak dwie skrajności – górska północ i nizinne południe. Na północy znajduje się najwyższy z dwóch szczytów wyspy zwany Kolturshamar (478 m n.p.m.). Cechuje go dość mocny spadek od strony zachodniej, jednak od pozostałych, a szczególnie po stronie południowej, opada on znacznie łagodniej. Część południowa wyspy jest znacznie bardziej płaska. Znajduje się tam tylko jedno, niskie wzniesienie zwane Fjallið, które mierzy 101 m n.p.m. Tam także znajduje się jedyna osada na wyspie.
Historia Już od samego początku, kiedy tylko pierwsi ludzie pojawili się na wyspach, Koltur miała tylko jedną farmę. Później ich liczba wzrosła do dwóch. W 1584 roku, niewiele po wprowadzeniu reformacji na Wyspach Owczych, król duński, Chrystian III Oldenburg podzielił wyspy na część katolicką i protestancką, a następnie włączył tę pierwszą we władanie korony, pozbawiając tym samym wielu duchownych ziemi. Koltur dostał się wtedy pod władanie monarchy. Później na wyspie utworzyły się jeszcze dwie farmy. Niewiele później nastąpił podział i Koltur posiadł nagle dwie wioski, starsze Heimi í Húsi oraz nowsze Norðri í Gerði. W latach 80. XX wieku wyspa się wyludniła. Dopiero w 1994 roku wróciło tam dwoje ludzi, którzy usiłują przywrócić to, co dawne na wyspie.