Na początku XIX wieku zaczęli osiedlać się w Rybnie Niemcy, w tym zamożny ród Krügerów, który wybudował na wzgórzu, w kierunku Rybieńca, neorenesansowy dwór wraz z folwarkiem (murowany dom służby, wozownie, spichlerze zbożowe, stajnie i drewniana stodoła). Podupadający zespół dworski w 1986 roku od PRG Rybno odkupił Jacek Jung i wyremontował. Po sprzedaży majątku przez Jungów w 1996 roku dwór Krügerów został przebudowany przez nowych właścicieli i ostatecznie stracił neorenesansowy charakter. Niemcy posiadali w Rybnie cmentarz ewangelicki, po którym obecnie pozostała parcela, starodrzew i resztki nagrobków. W 1874 roku część Rybna nabył od Sawickich za 108000 talarów Henryk Zabłocki. Pozostała część należała do drukarza Langego, budowniczego rodowej kaplicy w Rybnie, który w 1881 roku odsprzedał swój majątek hrabiemu Potworowskiemu z Zielęcina za 660000 marek. W 1896 roku 478 hektarów w Rybnie sprzedał z kolei Henryk Zabłocki Mateckim z Gniezna. Dawny dziedzic Rybna, Zabłocki zmarł w 1905 roku w Poznaniu.