Po jego śmierci cześć po Filipowiczu odziedziczył Mikołaj Krzysztof "Sierotka" Radziwiłł, zaś tę po Gasztołdach przyszły kardynał Jerzy Radziwiłł, który po przejściu na katolicyzm, zlikwidował zbór, urządzając w kamienicy seminarium duchowne zarządzane przez jezuitów.
W 1586 kardynał stał się właścicielem obu części, w 1593 obie przekazał swojemu 2-letniemu bratankowi Albrechtowi Radziwiłłowi. Ok. 1600 roku cały kompleks został przebudowany, prawdopodobnie z inicjatywy matki Albrechta Anny z Kettlerów. Część po Gasztołdach stała się siedzibą Radziwiłłów, część po Filipowiczu była wynajmowana. Część pałacowa była okazałą, 2-kondygnacyjną budowlą reprezentacyjną z bramą od strony ulicy Świętojańskiej, z fasadą zwieńczoną attyką. W dziedzińcu znajdował się ogród, murowane budynki kuchni i stajni, a także drewniane galerie. Część pod wynajem, była dużo skromniejsza, drewniana lub murowano-drewniana.