Z wieży poza teren zamku biegła też tzw. wycieczka, czyli tajne przejście, zachowane do czasów współczesnych. Stanowił je wykop ziemny o przekroju 1,2 x 1,2 m, przykryty niefundamentowanym kamiennym sklepieniem. Na przedzamczu, znajdującym się poza wałami na obszarze dawnego zamku Pawła z Przemankowa, wzniesiono prawdopodobnie też wówczas zespół zapewne drewnianych budynków gospodarczych. Wśród nich już w I połowie XIV w., może jeszcze za czasów Muskaty, mógł znajdować się (być może murowany) dwór - wygodniejszy, niż rezydencja wieżowa. Poświadczony jest on jednak źródłowo w sposób pewny dopiero w końcu XIV w.
Jan Muskata pozostawał w konflikcie z Władysławem Łokietkiem oraz większością mieszkańców Małopolski. Ustanowił on Sławków swoją główną kwaterą, w związku z czym w 1309 r. wojska księcia zdobyły miejscowość. Zamek pozostawał w rękach tego władcy prawdopodobnie aż do śmierci krakowskiego hierarchy w 1320 r.