W latach 1894–1899 został proboszczem w Hrubieszowie w ówczesnej guberni lubelskiej co oznaczało szykanowanie z duchowieństwa katolickiego i wiernych oraz zmuszanie siłą do przejścia na prawosławie. Surowo upomniał wikariusza, który ulegle podporządkował się nakazowi posługiwania się językiem rosyjskim na lekcjach religii. Udzielał sakramentów unitom, mimo zlikwidowania Unii w 1875. Za niepodporządkowanie się do zasad i polityki prowadzonych przez zaborcę, został usunięty z Hrubieszowa. Groziła mu również deportacja w głąb Rosji, jednak wstawiennictwo biskupa Franciszka Jaczewskiego pomogło w uniknięciu tej kary. Kolejną parafią był Czerniejów. Tam pogorszyła mu się sytuacja materialna przez co nie mógł wydać napisanej przez siebie broszury „O pieniądzach”.
We wrześniu 1900 przyjechał do Bychawy. Tam zastał miasteczko oraz okoliczne wsie bardzo biedne przez co był odczuwalny niski poziom życia mieszkańców. Ksiądz Kwiatkowski widząc taki widok postanowił podjąć misję ku stopniowej odbudowie zastanej "ruiny".