Władcy rezydujący w Avaldsnes kontrolowali żeglugę i pobierali opłaty od statków pokonujących Karmsund. Znaczenie dworu zmniejszyło się w drugiej połowie XIV wieku: w 1368 roku zabudowania rezydencji królewskiej zostały spalone podczas najazdu floty niemieckiej Hanzy, po czym majątek z czasem przekształcono w plebanię kościelną.
Zabytki i architektura Kościół św. Olafa (norw. Olavskirken) – gotycka świątynia z ciosanego kamienia, ufundowana ok. 1250 roku przez króla Håkona IV Håkonssona i ukończona ok. 1320 roku. Pełniła funkcję królewskiej kolegiaty oraz punktu orientacyjnego na szlaku morskim. Igła Marii Panny (norw. Jomfru Marias synål) – monolit o wysokości 7,2 m stojący przy północnej ścianie prezbiterium, będący pozostałością przedchrześcijańskiego cmentarzyska. Słup jest silnie pochylony w stronę ściany kościoła i dzieli go od niej zaledwie ok. 9,2 cm.