Budynek popadł w ruinę w połowie XVIII wieku (był w złym stanie w 1737 roku), na przełomie XIX i XX wieku był wykorzystywany jako garbarnia, którą prowadził Antoni Ulanowski. Badania kamienicy były prowadzone od XIX wieku. Zachowały się jej przedstawienia malarskie autorstwa m.in. Michała Elwira Andriollego czy Wojciecha Gersona.
Budynek spłonął w 1915 roku na skutek działań wojsk rosyjskich, zniszczeniu uległy wówczas sklepienia, wszystkie elementy drewniane; zachowało się jedynie sklepienie w izbie na parterze. Kamienicę po pożarze nakryto prowizorycznym dachem z drewna pochodzącego z puławskiego promu; w sieni przez pewien czas mieszkali pogorzelcy. Kamienica została zakupiona przez Towarzystwo Opieki nad Zabytkami Przeszłości w 1917 roku. Remont generalny obiektu został wykonany w latach 1917–1920. Skarb Państwa wykupił obiekt w 1920 roku, rewitalizacją zajął się Jan Koszczyc Witkiewicz. Wykonano wklęsły dach pokryty dachówką felcówką w latach 1921–1923. W budynku zgromadzono kolekcję Towarzystwa Przyjaciół Kazimierza w latach 30. XX wieku, prezentowano w niej wystawę „Kazimierz nad Wisłą w malarstwie”, pochodziła ona z warszawskiej Zachęty. Budynek został uszkodzony podczas II wojny światowej. Środki na jego rewitalizację po jej zakończeniu pochodziły z dotacji państwowych.