Na skutek wadliwej konstrukcji sklepienie kaplicy trzykrotnie się waliło (1691–1692). Odbudowę przeprowadzono w latach 1723–1728 kosztem 6 tys. złotych polskich. Domek otoczony był murem z wieżami, kopuły pokryto od wewnątrz polichromią, a ołtarz ozdobiono złotem i srebrem. W grobowcu pod domem loretańskim pochowano wielu znamienitych duchownych, mieszczan i szlachciców z Bydgoszczy i okolic. Kaplica została rozebrana w 1838 r. po kasacie klasztoru przez władze pruskie.