Po śmierci króla Czech i Polski, Wacława II oraz jego następcy, Wacława III, protektorów Muskaty, ten ostatni, po przejściowej zgodzie z Łokietkiem, popadł z nim w konflikt i został wygnany z diecezji (1306). Jednym z miejsc, gdzie się schronił, był właśnie zamek Lipowiec, w którym przebywał on okresowo aż do 1312 r., stawiając opór wojskom Łokietka.
Po okresie walk między Piastami i ustabilizowaniu się władzy po objęciu tronu przez Kazimierza Wielkiego, zamek Lipowiec pełnił funkcję twierdzy granicznej, strzegącej także przebiegający tutaj szlak handlowy z Małopolski na Śląsk. Wygląd zamku, z okresu końca XIII i pierwszej połowy XIV w., nie jest nam znany. Wiadomo tylko, że już wtedy stała kamienna wieża, o czym świadczą badania przeprowadzone nad dolnymi partiami obecnie stojącej wieży, które właśnie pochodzą z tego okresu. Jednakże nie była ona wtedy integralną częścią bryły budowli, tylko stanowiła odrębny, wolno stojący obiekt, mający na celu wzmocnienie obrony głównej bramy wjazdowej znajdującej się w jej pobliżu.