Czas potopu szwedzkiego, a w kolejnych latach słabnąca kondycja państwa polskiego, odbiły swe piętno na losach Żalna. Lata świetności minęły bezpowrotnie. W historiografii znany jest fakt, iż Józef Bernard Pruszak, kasztelan gdański w 1765 r., ufundował we dworze w Żalnie kaplicę, jednak dalsze losy tej kaplicy nie są znane. W siedem lat później, a więc w roku 1772, Żalno, tak jak i całe Pomorze, dostało się pod panowanie pruskie, które trwała aż do roku 1920. Od tej pory przez prawie 100 lat egzystowało w ramach powiatu chojnickiego.
Kolejnym burzliwym okresem były lata 1806–1815. W czasie wojen napoleońskich w Tucholi stacjonowały wojska pruskie, francuskie, polskie oraz rosyjskie. Ponownie nadeszły trudne czasy. Okres wojen napoleońskich oprócz strat materialnych ludności Żalna pozostawił po sobie szereg legend, to o dębie pod którym miał odpoczywać Napoleon Bonaparte, to o trakcie którym przejeżdżał, czy o bitwach tak krwawych, że aż piasek po dziś dzień pozostał czerwony, lub o pułkowych skarbach zatopionych w bagnach.