Jednak propozycje te spotkały się ze sprzeciwem mieszkańców, którzy obawiali się, że ten cichy zakątek miasta, jakim była chętnie odwiedzana wówczas Owcza Góra, ulegnie zniszczeniu.

Pod koniec II wojny światowej na Owczej Górze urządzono przeniesione z twierdzy głównej więzienie Wehrmachtu.

W granicach Polski thumb|240px|Brama prowadząca do fortu Owcza Góra Po zakończeniu działań wojennych w 1945 roku i przyłączenia Kłodzka do Polski, historyczne zabudowania na Owczej Górze przez dłuższy czas stały opuszczone. W ciągu kolejnych dekad w części z nich ulokowano magazyny, a reszta obiektu popadła w ruinę. Obiekt zarósł drzewami i krzewami. W latach 70. XX wieku wzdłuż ulicy Wiejskiej wybudowano cztery bloki mieszkalne, w których następnie urządzono mieszkania socjalne, do których przeniesiona została ludność romska. Obszar ten w potocznej nomenklaturze zyskał wśród mieszkańców nazwę Parkówka. W latach 80. XX wieku na wschodnich obrzeżach fortu, gdzie wcześniej znajdowały się pola i łąki, zaczęto wznosić domy jednorodzinne w zabudowie szeregowej, której główną osią zostały ulice: Kasztanowa i Lipowa. Powstające osiedle początkowo otrzymało nazwę Osiedla Leśnego, jednak ostatecznie upowszechniła się nazwa Owcza Góra, która funkcjonuje do dziś. Jego budowę zasadniczo ukończono w 1988 roku. Od lat 90.