W późniejszych latach Grabiny były zdobywane przez wojska Stefana Batorego, który walczył ze zbuntowanym miastem Gdańskiem. W 1577 r. ten sam król kierował stąd akcją represyjną przeciw Gdańskowi. W 1628 i 1628 r. w odbudowanym zamku przebywał król szwedzki Gustaw Adolf, inicjator wojny z Polską i wódz rozbójniczej armii. Podczas potopu Szwedzi organizowali stąd łupieskie wyprawy na Gdańsk. W styczniu 1657 r., gdy zamarzły wody w fosie zamkowej, ruszył na Grabiny oddział gdański w sile 1600 ludzi. Po zażartej walce zdobyto warownię. W późniejszych czasach wojenne uciążliwości nie omijały majątku grabińskiego, ale kończyło się na kwaterunkach i rekwizycjach.

28 listopada 1928 roku Senat Wolnego Miasta Gdańsk ustanowił herb miejscowości, przedstawiający zamek z dwiema wieżami, między którymi umieszczono tarczę z herbem wielkich mistrzów krzyżackich. W książce „Herby i pieczęcie miast Pomorza” Marian Gumowski określił barwy herbu: tarcza wielkich mistrzów była koloru srebrnego z czarnym krzyżem, a na niej mniejszym krzyżem złotym; w jej środku mała złota tarcza z czarnym orłem Rzeszy;