Forteca była rozbudowywana również w XVII wieku, a ostateczne rozmiary – około 48 000 m², w tym około 26 610 m² w obrębie głównych murów – uzyskała w 1714 roku. Twierdza odegrała szczególną rolę w konflikcie, który rozpoczął się 14 lipca 1737 roku, kiedy to Austria wypowiedziała wojnę Imperium Osmańskiemu. Po zdobyciu Gradiški i bitwie pod Jurkoviciem, 27 lipca wojska austriackie rozpoczęły oblężenie Banja Luki z żądaniami bezwarunkowej kapitulacji miasta. Po odmowie Turków rozpoczęto ostrzał armatni twierdzy Kastel (szacuje się, że do 4 sierpnia wystrzelono około 1800 pocisków armatnich). Oblężenie zakończyło się przybyciem wojsk tureckich, na których czele stał pasza Hećimoglu Ali, wskutek czego doszło do bitwy pod Banja Luką (4 sierpnia 1737), zakończonej ucieczką sił austriackich.
W następnym stuleciu warownie w Europie – w tym i twierdza Kastel – zaczęły tracić na znaczeniu militarnym i politycznym. Po I wojnie światowej forteca znalazła się na obszarze Królestwa Serbów, Chorwatów i Słoweńców, a następnie banowiny vrbaskiej Królestwa Jugosławii. Do 1959 roku twierdza Kastel nadal służyła celom wojskowym. Od lat 60. XX wieku jej obszar był wykorzystywany do różnych celów: zbudowano tu m.in.