Kościół klasztorny poświęcono Najświętszej Marii Pannie, św. Romualdowi (patronowi zakonu) oraz św. Marii Magdalenie de’ Pazzi, którą Pacowie uważali za swoją krewniaczkę, a przez to patronkę (swoją genealogię wywodzili z antycznej Italii i tam też nawiązali kontakty z florencką rodziną Pazzich). Kaplice boczne poświęcono św. Brunonowi Bonifacemu (patronowi Litwy), św. Krzysztofowi (drugiemu z patronów fundatora), św. Marii Magdalenie de’ Pazzi oraz św. Romualdowi (patronowi kamedułów). Sam erem nazwano Mons Pacis, co oznacza dosłownie "Góra Pokoju", zawiera jednak wyraźną aluzję do nazwiska "Pac". Za kościołem znajdują się cele eremitów, tworzące aleję wychodzącą na wyniosły brzeg Niemna.
W połowie XVIII w. rozbudowy zespołu klasztornego dokonał kolejny z Paców, szambelan królewski Michał Jan Pac. Po powstaniu listopadowym klasztor kamedułów został skasowany przez władze rosyjskie, które osadziły tam prawosławnych mnichów i uruchomiły w kościele cerkiew, w związku z czym dokonano w nim szeregu przeróbek (usunięto ołtarze boczne, wstawiono ikonostas, zamalowano lub przemalowano część malowideł). W 1915 prawosławni mnisi zostali ewakuowani, a po uzyskaniu niepodległości przez Litwę zespół klasztorny przejęły siostry z konwentu Św. Kazimierza.