W Karsku znajdują się ruiny zamku myśliwskiego zwanego czasem „dworem renesansowym” lub „starą gorzelnią”. Zbudował go w latach 1620–1640 Graf Adam von Schwartzenberg – minister elektora brandenburskiego Jerzego Wilhelma. Zabudowa dworska, założona z muru pruskiego, miała charakter mieszkalny i była przeznaczona dla dworu elektora w czasie polowań w lasach wokół Karska. Nad nią górował dwukondygnacyjny zamek myśliwski elektora. Poważne zniszczenie zamku musiało nastąpić w wyniku wojny trzydziestoletniej (1618–1648), Potopu (1655–1657) i wojny północnej (1700–1721) oraz w wyniku żywiołu niezależnego od wojny. Odejście dzierżawcy Schwartzenberga (mianowano go balliwem joannickim w Słońsku), wymienione powyżej pożogi wojenne, nowy kierunek stosunków ekonomiczno-politycznych w elektoracie brandenburskim odbiło się ujemnie na dalszym rozwoju Karska. W sumie, jaka siedziba domeny w rozbudowanej administracji pruskiej tamtego okresu, Karsko nie przedstawiało wartości. Po śmierci Schwartzenberga (1642 rok) majątkiem administrował w imieniu elektora brandenburskiego Valtiu Wernicke. Na tę sytuację zwrócił uwagę arcyksiążę Fryderyk II, gdy po opuszczeniu więzienia w Kostrzynie wizytował domenę karską we wrześniu 1731 roku.