Zabytkowy zespół klasztorny bernardynów Na szczycie ulokowany jest kościół pw. św. Karola Boromeusza oraz klasztor należący dawniej do oo. bernardynów. Fundatorem zespołu klasztornego był biskup krakowski Marcin Szyszkowski. Powstał on jako wotum za ominięcie Kielc przez zarazę z 1622 r. Zespół klasztorny został wzniesiony w latach 1624–1631 w stylu późnorenesansowo-wczesnobarokowym. Na początku XVIII w. klasztor został przebudowany. Od strony wschodniej dobudowano wówczas zabudowania gospodarcze, ogrodzone murem z basztami i znajdującą się pośrodku bramą. W 1864 r. zakon bernardynów został rozwiązany przez władze carskie. Od 1957 r. klasztorem opiekują się księża pallotyni.
Klasztor i kościół wieńczą barokowe wieże i sygnaturki pokryte blachą miedzianą. Do wnętrza prowadzą barokowe schody wykonane z wydobywanego na Kielecczyźnie czerwonego i szarego piaskowca. Na korytarzu przy wejściu do klasztoru znajduje się obraz przedstawiający złupienie klasztoru przez wojska szwedzkie w 1655 r. Kościół klasztorny jest jednonawowy. Na barokowym ołtarzu znajduje się obraz przedstawiający św. Karola oraz św. Kazimierza. Pozostałe elementy wyposażenia świątyni rokokowe.