Historia mały|lewo|Dom Mansjonariuszy (po prawej) na początku XX wieku Nieznana jest dokładna data powstania kamienicy. Od XV wieku jej parcelę zajmowały przypuszczalnie dwa drewniane budynki, najprawdopodobniej domy prebendy św. Bartłomieja (od zachodu) i prebendy zamkowej (od wschodu), których istnienie zostało potwierdzone przez Jana Długosza około roku 1470. O fakcie istnienia pierwotnie dwóch budynków może świadczyć m.in. szerokość działki, większa od sąsiednich, na których znajdują się budynki Sądu Biskupiego i domu Mikołajowskiego.
Drewniane budynki prawdopodobnie spłonęły podczas pożarów, które występowały w mieście pod koniec XV w., po czym odbudowano je, prawdopodobnie jako murowane, na przełomie wieków XV i XVI. Ich istnienie potwierdzone jest na podstawie informacji o zamianach nieruchomości w 1527 roku oraz dzięki wizytacji kardynała Jerzego Radziwiłła z 1597 roku. mały|lewo|Ekspozycja Kolekcjonerskiego saloniku mieszczańskiego na parterze domu W roku 1609 książę Janusz Ostrogski ufundował kolegium mansjonarzy, po czym budynek prebendy św. Bartłomieja został przez nich przejęty. Od tego też czasu zaczęto określać go mianem domu Mansjonarzy.
Wraz z pożarami miasta i kryzysem, który nastał w XVII wieku, budynek ulegał degradacji.