XVIII wiek Wraz ze śmiercią króla Karola XII w 1718 roku i zmierzchem mocarstwowej roli Szwecji zainteresowanie zabytkami i ich utrzymaniem osłabło. W ślad za tym zaczęło spadać znaczenie Antikvitetsarkivet. W 1780 roku większa część jego zasobów została przekazana do Kungliga biblioteket (Biblioteki Królewskiej) i Riksarkivet (Archiwum Państwowego). Na bazie tego, co pozostało, król Gustaw III w 1786 roku założył Kungl. Vitterhets Historie och Antikvitets Akademien (Królewską Akademię Literatury, Historii i Starożytności) - potocznie zwaną Vitterhetsakademien. Nowa instytucja przejęła zbiory i obowiązki Antikvitetsarkivet, a jego dyrektor został sekretarzem Akademii.
XIX wiek Brak zaangażowania w badanie zabytków i opiekę nad nimi przeciągnął się na wiek XIX. Dopiero objęcie urzędu dyrektora przez Johana Gustafa Liljegrena w 1826 roku ożywiło działalność Vitterhetsakademien, która zyskała status najwyższego organu państwowego ds. zabytków, a jej dyrektor otrzymał uprawnienia wykonawcze. Działalność Akademii uległa rozszerzeniu, zorganizowano liczne badania archeologiczne, m.in. w Birce i w Visby. W 1867 roku weszło w życie nowe rozporządzenie ws. zabytków, wprowadzające m.in. karalność za uszkodzenie wszelkich typów zabytków trwałych.