Lokatorami domu był kolejno cały szereg znamienitych osób. Pierwsza zamieszkała tu księżna Elżbieta Sapieżyna. Według Zygmunta Glogera po roku 1774 wynajęto dom na skład królewskiej manufaktury fajansów. Później znajdowała się tu poczta, przeniesiona następnie do pałacu Brühla. Kolejnym lokatorem był biskup kujawski Rybiński, a po nim bankier warszawski Fryderyk Kabryt. Ten ostatni płacił ponoć za wynajęcie jednego piętra ogromny czynsz 1500 dukatów. Kolejnym był biskup Ignacy Krasicki, który organizował tu cotygodniowe wieczory uczone, na których obecnym literatom, uświetniającym wiek Stanisława Augusta, odczytywał swe dzieła; często na takie wieczory sam król przybywał. Później mieszkał tu biskup wileński Massalski oraz Hugo Kołłątaj, podkanclerzy koronny, który, w tym domu mieszkając, wydał wszystkie swoje pisma, tak chlubnie przez Polaków wspominane. W 1801 zamieszkał tu, jako hrabia de Lille, król francuski Ludwik XVIII na uchodźstwie ze swoim 40-osobowym dworem. Spośród znakomitości mieszkali tu jeszcze: hr. Feliks Potocki, generał dywizji książę Romuald Tadeusz Giedroyć i książę Paweł Sapieha.