W XVII w. niezgospodarowane obszary w dolinie Wisły objęli w użytkowanie czynszowe olędrzy, którzy stosowali meliorację w celu odwodnienia terenów. Około 1600 roku osiedli w Czarżu również Niemcy wyznania luterańskiego, którzy trudnili się rzemiosłem ciesielskim i tkackim. We wsi dwa razy w roku (wiosną i jesienią) odbywały się jarmarki organizowane na zachowanych do dzisiaj w centrum Czarża dwóch placach. 14 maja 1626 zredagowano wilkierz (ordynację wiejską) CzarżaW Czarżu przetrwał do czasów obecnych umieszczony w zbiorach archiwum kościoła parafii p.w. Narodzenia Najświętszej Maryi Panny odpis z 1696 roku ustawy wiejskiej „Wilkierz miasteczka Czarża”. W tym czasie na terenie wsi funkcjonował samorząd wiejski na czele z sołtysem, któremu właściciel dóbr przydawał przysiężnych. W 1638 nadbudowano wieżę kościelną, a w 1647 ponownie konsekrowano kościół parafialny. Wojny polsko-szwedzkie spowodowały duże zniszczenia w obrębie wsi oraz zmniejszenie się liczby mieszkańców wyznania katolickiego z 1000 do 250. W 1656 runęła wieża kościelna, którą odbudowano dopiero w 1974 roku.