Kamieniarka okien była bardzo wysokiej jakości. Wieża nie miała sklepień nawet na najniższym, piwnicznym poziomie, który przykrywał jedynie strop.
W roku 1289 biskup opowiedział się przeciwko Henrykowi IV Probusowi, doprowadzając do zajęcia Krakowa przez Władysława Łokietka. Książę śląski w zamian uwięził biskupa i w drodze na Kraków zajął zamek oraz oddał go pod opiekę Henrykowi z Woszowa. Wydarzenie to było jednocześnie pierwszą zachowaną wzmianką na temat zamku sławkowskiego. Świadczy ono o tym, że zamek był już wówczas zdolny pełnić funkcje mieszkalno-obronne.
Okres rządów Jana Muskaty Drugim z kolei następcą biskupa Pawła był Jan Muskata, który na początku XIV wieku rozbudował zamek, otaczając go wałem ziemnym z budynkiem bramnym (być może w formie wieży) i fosą. Budynek bramny, do którego przylegał aneks, zaopatrzony był w dodatkowe urządzenie obronne – tzw. suchy basen, tj. rodzaj suchej fosy, zajmującej najniższą kondygnację. W czasie braku zagrożenia przerzucony był nad suchym basenem drewniany pomost. Dziedziniec zamkowy utwardzono wylewką wapienną, pokrytą wkrótce cienką warstewką zielonkawej gliny, na której z kolei umieszczono bruk z płyt wapiennych. Rozbudowa objęła również samą wieżę mieszkalną, do której dobudowano wzmacniające przypory oraz ułatwiającą komunikację zewnętrzną klatkę schodową.