Byli również inni, nawet z bardzo odległych stron pochodzący, osadnicy: trochę Niemców i Litwinów, średniej wielkości społeczność żydowska, a także spore skupisko Holendrów, po których pozostała dziś nazwa ulicy: Olendry.
Filipów dwukrotnie w historii był silnym ośrodkiem reform religijnych. U zarania swego istnienia w formie miasta stanowił mocne centrum arian, czyli braci polskich. Starosta Krzysztof Morsztyn gościł tu Fausta Socyna, włoskiego teologa, twórcę socynianizmu. Około 1585 powstał w Filipowie zbór. W 1608 urodził się tu najwybitniejszy myśliciel arianizmu, Andrzej Wiszowaty. Kazania wygłaszał też Jan Völkel.
Rozwój Filipowa został zahamowany w 1635 r. skutkiem wielkiego pożaru. Kolejne zniszczenia przyniosła przegrana przez wojska polskie bitwa pod Filipowem w 1656 r., w czasie potopu szwedzkiego. Wkrótce potem w mieście wybuchły zarazy, które zdziesiątkowały ludność.
Zabory Po ostatnim rozbiorze Filipów znajdował się kolejno w zaborze pruskim, Księstwie Warszawskim (od 1807) i Królestwie Polskim (od 1812 r.). W 1870 r., dokładnie 300 lat po otrzymaniu praw miejskich, ze względu na swoje niewielkie rozmiary został zdegradowany do statusu wsi przez władze carskie.