Dzięki staraniom biskupa wrocławskiego Józefa Christiana Hohenlohe, klasztor i kościół zostały w 1812 roku przeznaczone przez króla pruskiego Fryderyka Wilhelma III dla księży, którzy z powodu wieku, choroby lub innych okoliczności nie byli zdolni do pracy w parafii. Taki dom istniał już w Nysie od 1653 roku. Ufundował go biskup Karol Ferdynand Waza, syn króla Polski Zygmunta III. Mieścił się on w dawnej mennicy biskupiej. Znajdujący się w złym stanie oraz przepełniony z powodu napływu eks-zakonników dom zlikwidowano, a przebywający w nim księża przeprowadzili się do budynku byłego klasztoru kapucyńskiego. Przeniesiono wówczas do nowego domu kolekcję osiemnastu portretów kolejnych biskupów wrocławskich (od Jakuba Salzy), uzupełnianą potem aż do biskupa Emanuela Schimonsky’ego.
Dnia 16 marca 1813 roku nastąpiło uroczyste otwarcie domu księży-emerytów. Dołączony został do niego dawny ogród klasztorny oraz cztery folwarki – Nadziejów, Kijów, Łączki i Bednary (ta ostatnia wieś została w 1933 roku zalana przez Jezioro Otmuchowskie).Odtąd mieszkało tutaj stale 10-15 księży, a do 1944 roku zmarło tu 104 księży.