Wnukowie tegoż Jana: Seweryn i Fryderyk Bonerowie, wraz z matką Jadwigą Kościelecką, zamienili w 1571 roku miejscową świątynię na zbór ariański, który kolejny właściciel osady, Mikołaj Firlej, przywrócił Kościołowi rzymskokatolickiemu. Firlejowie weszli w posiadanie Włodowic dzięki małżeństwu Jana Firleja z Zofią, siostrą wspomnianych wyżej Seweryna i Fryderyka Bonerów. Dzierżyli oni ten majątek do roku 1669, po czym odstąpili go Stanisławowi Warszyckiemu herbu Abdank, kasztelanowi krakowskiemu. Po Warszyckich, drogą koligacji rodzinnych, Włodowice znalazły się w kompleksie majątkowym Męcińskich herbu Poraj, którzy pozostali właścicielami osady aż do początków XIX wieku. Niewątpliwie prywatny charakter miasta i wyjątkowo częste zmiany właścicieli nie sprzyjały poważniejszemu rozwojowi społeczno-gospodarczemu. Taki przebieg procesu historycznego spowodował, iż we Włodowicach nie wykształciła się nigdy struktura społeczna o charakterze zdecydowanie miejskim, chociaż osada usytuowana była przy ważnym w tej części kraju szlaku komunikacyjnym.