Okres rządów Jana Grota W 1327 r. zamek wraz z miastem zajęły wojska czeskie Jana Luksemburczyka w pochodzie na Kraków. Wycofały się jednak jeszcze wiosną tego samego roku wskutek protestu króla węgierskiego Karola Roberta. Następnie miała miejsce ponadroczna okupacja węgierska miasta i z pewnością również zamku. Jan Grot odzyskał Sławków wskutek napomnień papieskich pod adresem władców Czech, Węgier i Polski. Jego przebywanie na zamku poświadczone jest źródłowo w 1337 r.
Okres rządów Jana Radlicy W 1389 r. wzmiankowany jest dwór w Sławkowie jako budowla osobna od zamku obronnego. Dwór biskupi istnieje do dziś w szacie nowożytnej i znajduje się w rękach prywatnych; znany jest pod nazwą „lamusa”. Datowany jest przeważnie na XVI lub XVII wiek, ale grube, ponad dwumetrowe mury i dokument, mówiący o istnieniu dworu w 1389 r., mogą świadczyć o średniowiecznym pochodzeniu budynku. Grubość murów i otwory szczelinowe w najniższej kondygnacji sugerują, że mimo położenia poza wałami właściwego zamku, mógł on mieć częściowo charakter obronny. Według dużo późniejszych opisów z inwentarza z 1645 i 1668 r. cały zespół przedzamcza był zresztą słabo ufortyfikowany, choć nie wiadomo, czy można to odnosić do okresu średniowiecza.