W 1608 zamek trafił w ręce Komorowskich. Znacznej rozbudowy dokonał pierwszy właściciel z tego rodu, Piotr Komorowski. Powstał wtedy trójskrzydłowy układ zamku zachowany do dzisiaj. Pewne cechy stylu architektonicznego zamku wskazują, że w jego przebudowie brał udział Paweł Baudarth, architekt Mikołaja Zebrzydowskiego z pobliskiej Kalwarii. Kolejnej rozbudowy dokonała na początku XVIII wieku Anna Wielopolska, która dobudowała dwie wieże i zmodernizowała wnętrze zamku. Wielopolscy byli najdłużej w posiadaniu zamku – od roku 1665 do 1843.
W 1843 zamek kupił Aleksander Branicki. W latach 1882–1887 jego syn hrabia Władysław Branicki zdecydował się przeprowadzić generalną restaurację zamku pod kierunkiem Tadeusza Stryjeńskiego. Niestety kilkanaście lat później, w 1905, zamek zniszczył pożar. Odbudowy podjął się ponownie ten sam architekt. Do 1843 zamek otoczony był wysokim murem obronnym, sięgającym wysokości pierwszego piętra. Braniccy zdecydowali o jego zburzeniu i postawieniu w jego miejsce ogrodzenia z żelaznych prętów.