Po drugim małżeństwie z Janem Kostką, Kostkowie weszli w posiadanie części dóbr Tarnowskich. Na zamku w Gorliczynie Zofia spędziła ostatnie lata swego życia do 1590 roku.
W maju 1566 roku na dwór zamku kasztelana Jana Krzysztofa Tarnowskiego przybył Piotr Skarga, który powracał ze Lwowa, gdzie witał nowego arcybiskupa lwowskiego Stanisława Słomowskiego. Piotr Skarga przybył do zamku na specjalne zaproszenie żony Jana Tarnowskiego – Zofii z Odrowążów. Jej życzeniem było, aby jej chory śmiertelnie mąż nawrócił się pod wpływem osoby Piotra Skargi. Całe dzieło nawracania kasztelana powiodło się. Skarga przebywał na zamku do momentu śmierci kasztelana w 1567 roku, pełniąc tam funkcję nadwornego kapelana. Wizyta Skargi w Gorliczynie daje dowody na dużą jego sławę (szczególnie nawracając wielu pogan i Żydów). Pobyt w Gorliczynie był bardzo owocny dla samego Skargi. Dzięki temu, że nawrócił się kasztelan Tarnowski, wdowa darzyła wielką wdzięcznością Piotra Skargę. Zyskał on później wsparcie u Zofii z Odrowążów przy zakładaniu fundacji kolegium jezuickiego w Jarosławiu.
Kościół Na terenie części miejscowości, która w 1977 roku została włączona do Przeworska, przy granicy z Gorliczyną znajduje się kościół pw. św. Józefa Sebastiana Pelczara.