W XIX wieku wokół pałacu powstał park (z lat 70. XIX wieku), oficyna bądź mały pałacyk (z ok. 1890, w stylu neorenesansowym), budynek mieszkalny dla urzędników zarządu dóbr oraz okazała willa dla administratora dóbr (z pocz. XX wieku; neoklasycystyczna z elementami secesji).
W 1924 roku Karłuszowiec administracyjnie wcielono do Tarnowskich Gór, a w okresie wojennym mieściła się tu dyrekcja spółki The Henckel von Donnersmarck-Beuthen Estates Limited. W części pomieszczeń urządzono mieszkanie dla ks. Pawła Sapiehy, który mieszkał w nim wraz z poślubioną wtedy małżonką Virgilią Peterson w latach 1933–1936. Tam swe pierwsze lata życia spędziła ich pierworodna córka Maria Krystyna.
Obecnie w pałacu mieści się Zespół Szkół Artystyczno-Projektowych, w willi administratora przedszkole, a w budynkach północnych zakład pulmonologii. Za bramą wjazdową ustawione są ufundowane przez hrabinę Leopoldynę zabytkowe późnobarokowe figury św. Floriana i św.