Do ich połączenia i przebudowy doszło na początku lat 40. XVIII w. (prace wzmiankowane są pod datą 1744) na potrzeby opactwa cystersów w Jędrzejowie. Zakonnicy byli właścicielami znajdujących się tu wcześniej zrujnowanych kamienic od 1732. Projekt przebudowy niesłusznie przypisywano Franciszkowi Placidiemu, faktycznie jednak prowadzili ją architekci zatrudnieni przy przebudowie kościoła w Jędrzejowie. W wyniku przebudowy powstał jednolity, dwupiętrowy budynek z zachowaną do dziś główną fasadą z portalem oraz klatką schodową ze stylowymi balustradami. W 1784 właścicielem kamienicy został Hugo Kołłątaj, dla którego prawdopodobnie Dominik Oesterreicher wykonał malowidła ścienne na pierwszym piętrze.
W 1791 dom przeszedł w ręce rodziny Benoë, a później stał się własnością Wielogłowskich. Wykonano nowy wystrój części wnętrz pierwszego piętra. W 1814 przekształcono pomieszczenia drugiego piętra skrzydła północnego na cele mieszkalne. W 1817 kamienica została kupiona przez rodzinę Popielów. W ich czasach wykonano restaurację budynku, który odtąd zaczęto nazywać Pałacem Popielów. Paweł Popiel (właściciel kamienicy od 1835 do 1892) zorganizował tu salon będący jednym z głównych ośrodków życia towarzyskiego i kulturalnego Krakowa – odbywały się tu wówczas popularne spotkania czwartkowe.