Na ruinach istniejącego wcześniej zamku w XVI w. wybudowany został przez ród Kokorzów kolejny, tym razem renesansowy zamek. Rodzina Kokorzów była starą śląską rodziną, znaną już w 1311 r., a wywodzącą się z Czech. Za siedzibę rodową uważali Kamieniec, który prawdopodobnie około 1539 r. nabył Jan Kokorz z księstwa niemodlińskiego. W 1556 r. Jan ożenił się z Katarzyną, córką wówczas już nieżyjącego, a pochodzącego z Bawarii Georga von Köenigsfeld.
Z kolei na zrębach tego zamku na początku wieku XVIII, za sprawą ówczesnego właściciela Kamieńca, Martina Scholtz von Löwenckrona, wywodzącego się z rodu bytomskich mieszczan, powstał pałac barokowyMartin (Marcin) Scholtz von Löwenckron urodził się w 1661 r. w Bytomiu. Od 1701 r. sprawował funkcję „Salzversilberer” w Tarnowskich Górach. Jego zadanie polegało na sprawowaniu nadzoru nad procesem uzyskiwania srebra z rudy. Znaczenie jego musiało być duże skoro w 1706 r. został uznany za należącego do czeskiego stanu rycerskiego. Zgromadziwszy majątek, inwestował także w majątki ziemskie. Kupił położone koło Gliwic: Sieroty, Kamieniec i Karchowice. W okolicach Tarnowskich Gór nabył: Wieszowę, Stare Tarnowice i Konary, w 1712 r. kupił Turawę koło Opola, a w 1728 r.