W dniu 19 października 1651 murowany kościół został konsekrowany przez biskupa wileńskiego Jerzego Tyszkiewicza. Pierwszą ksienią klasztoru została Anna Sobieska, siostra Aleksandry. W 1647 r. fundacja Wiesiołowskich została zatwierdzona przez sejm. W 1781 roku do kościoła wprowadzono uroczyście relikwie św. Klemensa. Od 1908 roku klasztor od brygidek przejęły nazaretanki. W 1950 roku nazaretanki w ciągu trzech dni zostały zmuszone przez miejscowe władze komunistyczne do opuszczenia kościoła. W latach 1950–2001 władze białoruskie umieściły w klasztorze szpital psychiatryczny, a w kościele szpitalny magazyn. Kościół został zwrócony wiernym w 1990 roku. W 1997 roku w podziemiach stworzono niewielkie muzeum.
Klasztor z kościołem wraz z innymi gospodarczymi budynkami były usytuowane w kwartale pomiędzy ulicami Jezierską, Nowikowska, Dziemianowską i Jerozolimską.
thumb|240px|Widok od strony płn.-wsch.
Architektura Kościół jest budowlą nawiązującą stylem do tzw. renesansu lubelskiego i wiąże się stylistycznie z kolegiatą w Ołyce będąc jej uproszczoną kopią. Kościół posiada jedną nawę i półkoliście zamknięte prezbiterium. Fasadę flankują dwie wieżyczki (tzw. „ośle uszy”). Wieże zdobią kute krzyże ozdobione promieniami słonecznymi.