W 1915 roku podczas I wojny światowej zniszczone zostały dachy budynku – wtedy też budynek przestał pełnić swoją funkcję przytułku. Budynek wyremontowano w latach 1929–1930, łącząc przy tym kaplicę z pomieszczeniem po stronie zachodniej, zasypano kryptę i obniżono połacie dachu, co niekorzystnie zniekształciło jego wygląd. Po remoncie budynek zarządzany przez magistrat miasta, użytkowany był jako mieszkanie dla najuboższych rodzin. W trakcie II wojny światowej w budynku mieścił się areszt, a po 1945 roku został zdewastowany. W 1951 roku przystąpiono do remontu, który zakończono w roku 1953, nie zmieniono jednak ahistorycznego obniżonego pochylenia dachu. Wkrótce obiekt został przeznaczony na cele turystyczne.
Obecnie znajduje się w nim hotel i restauracja. Obiekt jest dostępny do zwiedzania.
Obiekt wpisany jest do rejestru zabytków pod numerem A-460z 16.02.1953.
Architektura Murowany jednokondygnacyjny budynek w stylu późnobarokowym, założony na planie czworoboku, z wewnętrznym dziedzińcem. Alumnat posiadał dawniej dwie narożne baszty od strony rzeki Narew, co oznacza, że w zamierzeniach mógł pełnić także funkcję obronnego przyczółka mostowego.