Jego córka Janina, zamężna z Karolem Skórzewskim-Ogińskim, była ostatnią, do września 1939 roku, właścicielką Poniemunia.
Po 1945 roku część pomieszczeń dawnego pałacyku myśliwskiego, który przetrwał działania wojenne, zaadaptowano na dom dziecka, a resztę przeznaczono na zwykłe mieszkania. W tym czasie zburzono glorietę, odpadły tynki, a część okien i drzwi zabito deskami. Tylko zachowane kolumny portyków świadczyć mogły, że był to niegdyś królewski pałacyk.
Architektura Wybudowany dla Stanisława Augusta pałacyk wyglądem swym różnił się od powstałych w tym samym czasie pałaców w Augustówku i Stanisławowie. Nie wiadomo czy było to zamierzenie projektanta, czy też został on w ciągu XIX wieku gruntownie przebudowany. Wzniesiony na wysokim, dość stromo opadającym brzegu Niemna, otrzymał rzut przypominający kształtem literę „T”. Jego korpus główny ustawiony został prostopadle do biegu rzeki, korpus zaś drugi – równolegle do niego. Oba posiadały tylko jedną, znacznej wysokości kondygnację.