Znane są również ślady osadnictwa z czasów rzymskich kiedy to rejon Pielgrzymki stanowił zapewne zachodnią rubież terytorium TrzebowianRoman Gorzkowski - Pielgrzymka i okolice, wyd. Gminny Ośrodek Kultury w Pielgrzymce, 1993r.. Według podań ok. 1150 osiedlili się tu podobno rycerze zakonu templariuszy, którzy wybudowali kościół, który stał się celem pielgrzymek. Pobytu templariuszy w Pielgrzymce ani w Złotoryi nie potwierdza jednak ani jedno źródło historyczne. Pierwsza wzmianka o Pielgrzymce pochodzi 1251 roku z dokumentu księcia Bolesława Rogatki, choć jej początek wiąże się z kolonizacją z czasów księcia Henryka Brodatego z lat 1201–1241. W 1268 roku Pielgrzymka pod nazwą Villa Peregrini wzmiankowana jest jako jedna z 15 wsi złotoryjskich płacących dziesięcinę kapitule wrocławskiej. Podczas wojny 30-letniej (1618–1648) w rejonie Pielgrzymki trwały ruchy wojsk. We wrześniu i październiku 1626 roku w Pałacu kwaterował sztab Albrechta Wallensteina dowódcy katolickiej armii cesarskiej. Stąd wyprawiał się na Złotoryję i Grodziec. W 1639 roku we wsi pojawiły się oddziały Szwedzkie, w potyczkach zginęło 4 szwedzkich żołnierzy, których pogrzebano na miejscowym cmentarzu.