Czasy Narzymskich Fundatorzy przeżyli zaledwie kilka lat w zbudowanej rezydencji. 27 czerwca 1867 Otolia Narzymska zmarła w Gocie w czasie kuracji zdrowotnej. Stefan Narzymski przeżył ją zaledwie o niecały rok (zmarł w Rzymie 9 kwietnia 1868). Oboje zostali pochowani w Jabłonowie, w kościele Św. Wojciecha, także ich fundacji. Majątek odziedziczyła ich córka, urodzona w 1844 r. Marianna. W 1873 r. poślubiła ona starszego o 16 lat księcia Feliksa Ogińskiego. Uroczystość weselna odbyła się w pałacu i zgromadziła większość znakomitych rodzin regionu.
Marianna Ogińska nie kontynuowała ojcowskich planów uczynienia z Jabłonowa wspaniałej rezydencji. Zainteresowana pracą charytatywną, sprowadziła do miasta szarytki (przebywały w Jabłonowie do 1877 r.), ufundowała szpital i szkołę dla dziewcząt. Po 1876 roku przeniosła się do Drezna, gdzie przed ślubem stale rezydował jej mąż. Majątek wydzierżawiła Albertowi Dirlamowi; wróciła do niego dopiero po śmierci męża na początku lat 90. Zapisała się dobrze w pamięci mieszkańców Jabłonowa;