Do 1793 r. Srebrna Góra należała do powiatu kcyńskiego. Po II rozbiorze Polski (1793 r.) znalazła się w powiecie Wągrowieckim. W okresie Księstwa Warszawskiego (1807–1812) wchodziła w skład departamentu poznańskiego. Po roku 1815 na powrót ustanowiono powiat wągrowiecki, ale odłączono od niego część obszaru na rzecz innych powiatów. Nowe zmiany administracyjne przyniósł rok 1887, kiedy utworzono powiat żniński, do którego przydzielono (do 1948) m.in. Rusiec i Srebrną Górę.
18 sierpnia 1946 roku w Srebrnej Górze urodziła się piosenkarka Irena Jarocka.
Zespół dworski thumb|Pałac w Srebrnej Górze mały|Widok pałacu przed 1912 W Srebrnej Górze znajduje się zespół dworski z końca XVII wieku. Dwór (pałac) zbudowano najprawdopodobniej krótko po 1792 r. Dwór wraz z dwiema parterowymi oficynami o czterokolumnowych portykach położony jest na wzniesieniu naprzeciw kościoła. Budynki zespołu otaczają duży dziedziniec poprzedzony architektoniczną bramą (umieszczona na niej data – 1799 r. – dotyczy raczej oficyn). Całość otacza mur oporowy z balustradą. Dwór zwrócony jest elewacją frontową na wschód i prezentuje się jako dziewięcioosiowa, parterowa budowla z portykiem kolosalnego porządku. Wysoki czterospadowy dach kryty jest dachówką. Dwie pary bardzo wysuniętych kolumn o uproszczonych jońskich kapitelach mają stosunkowo smukłe proporcje.