W latach 1573–1589 odbywały się tu synody ariańskie. W 1650 kolejny właściciel, Jędrzej Grudziński, wojewoda rawski i dziedzic klucza lutomierskiego, sprowadził reformatów, i oddał im na pomieszczenia klasztorne istniejący wtedy jeszcze zamek. Przebudowa zamku na klasztor oraz budowa przylegającego do niego kościoła Niepokalanego Poczęcia NMP trwała z przerwami do 1659, bowiem jego fundator uczestniczy na czele chorągwi w wojnie z Chmielnickim, a gdy ginie w bitwie pod Beresteczkiem, ciężar opieki nad klasztorem przechodzi na jego syna Marcina, rotmistrza chorągwi rawskiej i uczestnika wojen: moskiewskiej, a potem szwedzkiej. Obecnie ślady po dawnym zamku rozpoznać można jedynie na pd. ścianie (zarys gotyckiej bramy i podpory, na której opierał się most zwodzony). thumb|left|Synagoga w Lutomiersku W życiu miasta dużą rolę odgrywali Żydzi. II poł. XVIII w. wzniesiono tu drewnianą synagogę projektu Beniamina Hilela, która stała się jeden z wybitniejszych przykładów drewnianej architektury sakralnej ówczesnej Rzeczypospolitej. Do znaczniejszych budynków należały także szkoła żydowska i szpital żydowski.