Feldmarszałek Edwin Hans Karl von Manteuffel otrzymał pałac w Toporowie wraz z przyległym majątkiem w darze od cesarza, za oddaną i ofiarną służbę dla Niemiec. Pałac był w posiadaniu rodziny Manteuffel zaledwie 12 lat. Feldmarszałek rezydował w Strasburgu, a jego majątek w Toporowie coraz bardziej podupadał. Feldmarszałek, chcąc podbudować swój prestiż i zdobyć popularność, zobowiązał zarządcę do przekazania funduszy na rzecz budowy kościoła. Nosił się także z zamiarem wybudowania dworca kolejowego – niestety zarządca nie martwił się zbytnio ani o kościół, ani o pałac. Najstarszy syn Feldmarszałka prowadząc luźny tryb życia, narobił długów i doprowadził majątek do upadku. Sprawa ta trafiła do cesarza, w wyniku czego rodzina Manteufflów straciła prawo do posiadłości w Toporowie.
Zamek w Toporowie w okresie, kiedy należał do rodziny Manteufflów, był Pałacem Myśliwskim. Na drzwiach każdego pokoju wymalowany był ptak lub zwierzyna: dzik, jeleń lub kaczka. Na dziedzińcu był basen, w którym (jak głosi legenda), utopiła się córka właściciela zamku (miała 15 lat).