Począwszy od rządów Ar-Adûnakhôra, Wierni musieli już tylko potajemnie posługiwać się elfickimi językami. Jeden z kolejnych władców, Ar-Gimilzôr, bardzo wrogo odnosił się do Przyjaciół Elfów. Karał ich za potajemne przyjmowanie Eldarów z Tol Eressëi i używanie ich mowy. Większość Wiernych nakazał przenieść na wschodnie ziemie Númenoru, w okolice Rómenny, gdzie otoczono ich ścisłą kontrolą. Wielu Przyjaciół Elfów zaczęło na zawsze opuszczać ojczystą wyspę i osiedlać się na północy Śródziemia. Lepsze czasy dla Wiernych nastały za rządów Tar-Palantira, który podzielał ich przekonania i usiłował zmienić złe postępowanie większości Númenorejczyków. W czasie panowania Ar-Pharazôna, następcy Palantira, przywódcą stronnictwa był książę Andúnië Amandil. Gdy Sauron, przebywając w niewoli w Númenorze, zyskał (w 3265 roku Drugiej Ery) wpływ na monarchę i większość Dúnedainów, z czasem rozpoczęły się wielkie prześladowania Wiernych. Wielu spośród nich, oskarżonych fałszywie o spiskowanie i trucicielstwo, zabijano jako ofiary w Świątyni Melkora. Resztki Wiernych wraz z Elendilem i jego synami Isildurem oraz Anárionem, zdołały uciec przed Upadkiem Númenoru (3319 rok) do Śródziemia, gdzie założyli nowe królestwa: Arnor i Gondor.