Jego wielkość i rozmach projektu została jednakże ograniczona przez Leszka Czarnego oraz przez ówczesne prawo dotyczące zakazu budowy zamków przez feudałów świeckich i duchownych. Do półbaszty południowo-wschodniej na jego skrzydle przybudowano tylne ściany, zmieniając ją w wieżę mieszkalno-obronną, którą otoczono fosą i parkanem.
„Wielki” pierwotny zamek mimo swojego nowatorstwa był (może wskutek pośpiechu w jego budowie) obiektem o niskiej jakości technicznej. Mury były bardzo płytko fundamentowane, wzniesione z łamliwego dolomitu, wiązanego dość słabą żółtą zaprawą piaskowo-wapienną z dużą zawartością piasku. Dostawiona później do półbaszty część młodsza miała znacznie głębszy fundament, a zbudowano ją z bardzo twardego wapienia, spojonego silną zaprawą wapienną z dużą zawartością wapna. Do muru wieży mieszkalno-obronnej przylegał ryzalit wejściowy oraz mur kanału ściekowego latryny, umieszczonej prawdopodobnie w położonym wyżej wykuszu. Do wyrobu kamieniarki „małego” zamku użyto, prócz białego wapienia, również piaskowca koloru białego i umożliwiającego osiągnięcie efektu wielobarwności budynku piaskowca czerwonego. Ten ostatni pochodził z Góry Parcze w pobliskim Olkuszu. Detal miał, jak wskazuje na to obecność portali o pełnych łukach, charakter przynajmniej częściowo późnoromański.