W XIV w., po zdobyciu Pomorza Gdańskiego przez Krzyżaków, Żarnowiec został włączony do komturstwa gdańskiego. W 1433 r. najechany został przez wojska husyckie. Podczas wojny trzynastoletniej 1454–1466 r. pod Świecinem (ok. 8 km od Żarnowca) wojska polskie dowodzone przez Piotra Dunina stoczyły w 1462 r. zwycięską bitwę z Krzyżakami, w której zginął ich dowódca – Fritz von Raveneck. Raveneck został pochowany przez siostry cysterki w krypcie żarnowieckiego klasztoru (poświęcona mu płyta znajduje się w posadzce kościelnej na wprost ołtarza). Po wojnie Żarnowiec na mocy II pokoju toruńskiego (1466 r.) wszedł w skład Prus Królewskich.
Po kasacie zgromadzenia cysterek w Żarnowcu, klasztor w 1590 r. został przejęty przez benedyktynki (z nadania biskupa kujawskiego Hieronima Rozdrażewskiego) z Chełmna. W 1617 r. powstało opactwo benedyktynek, które prowadziło ożywioną działalność gospodarczą, zajmowało się szkolnictwem, było prężnym ośrodkiem polskości. Klasztor w Żarnowcu był jednym z głównych ośrodków hafciarstwa kaszubskiego. Od 1772 r. Żarnowiec znajdował się w zaborze pruskim W 1834 r. nastąpiła kasacja opactwa. W latach 1919–1939 Żarnowiec był osadą przygraniczną, znajdującą się po stronie polskiej (granica pomiędzy państwem polskim a państwem niemieckim biegła ok. 200 m na zachód od obecnego koryta rzeki Piaśnicy).