Na początku XIV wieku siedzibę hrabiego przeniesiono w pobliże kolegiaty a samo miasto rozwijało się na równinie. Obronność zeszła na dalszy plan. W 1359 roku Montbroson zostało spalone podczas angielskich ataków w czasie wojny stuletniej, a w 1362 roku ponownie splądrowane przez bandy. Część ludności schroniła się poza starymi murami zamkowymi. W 1422 roku wojska burgundzkie ponownie zajęły i splądrowały miasto. W 1409 roku postanowiono wybudować mury obronne miasta, jednak dopiero w 1428 roku Maria de Berry zezwoliła na ich budowę. W ciągu dziesięciu lat miasto zostało otoczone murami, które posiadały siedem bram i czterdzieści sześć wież. Nowe mury łączyły się od północnego – wschodu z dolnym murem zamku, utworzono również fosy.
W 1562 roku baron des Adrets rozebrał część umocnień. Jednak punktem zwrotnym w historii fortyfikacji miasta była rozbiórka zamku w lipcu 1596 roku przez Philiberta de la Guiche, gubernatora prowincji. W XVII i XVIII wieku opuszczony zamek i jego otoczenie wraz z murami służyło jako kamieniołomy. Urszulanki w 1629 r. i Wizytki w 1634 r. na miejscu umocnień i przy użyciu kamieni z rozbiórek zbudowały swój klasztor. Wizytatorzy wybudowali swój klasztor w 1683 roku, a następnie nowy kościół w 1702 roku opierając je o mury obronne.