thumb|Widok z góry na twierdzę Kastel|lewo Nie wiadomo kiedy dokładnie rozpoczęto budowę twierdzy w obecnej formie. W dokumencie z 1525 roku określono, że Banja Luka jest w rzeczywistości nazwą fortu o nazwie „Castell Nostro Bagna Luca”. Z treści tego dokumentu można także wywnioskować, że twierdza Banja Luka została zbudowana po 1463 roku na miejscu starszej i mniejszej fortyfikacji, jako forteca z dziewięcioma bastionami, dwiema wieżami w obrębie murów i centralną zbrojownią, stanowiąca część systemu obrony Królestwa Węgier przed Imperium Osmańskim (granica przebiegała na rzece Vrbas). Badania archeologiczne wskazują na pochodzenie niektórych fragmentów fortecy z początków średniowiecza, co czyni twierdzę najstarszym zabytkiem Banja Luki.
W latach 80. XV wieku, w okresie okupacji osmańskiej, gdy obszarem tym władał pasza Ferhat Sokolović, nastąpiła intensywna rozbudowa fortecy – najpierw zbudowano na miejscu obecnej twierdzy ufortyfikowany arsenał, a około dziesięciu lat później przekształcono go w prawdziwe, ufortyfikowane miasto.