Po śmierci raciborskiego proboszcza, Franza Heide, książę zaproponował mu objęcie tego stanowiska. Początkowo Schaffer zgodził się, lecz wycofał się z tego po ujawnieniu przez ówczesnego biskupa wrocławskiego Heinricha Förstera obietnicy złożonej zmarłemu proboszczowi, iż jego następcą będzie Tomasz Strzybny. Po rozmowie księcia z biskupem ostatecznie to jednak Schaffer otrzymał nominację na proboszcza. Uroczyste wprowadzenie go na ten urząd miało miejsce 21 lipca 1867 roku. Będąc proboszczem w raciborskiej parafii, Schaffer prowadził również ożywioną działalność społeczną, polityczną i dziejopisarską. Z ramienia partii Centrum (której był jednym z założycieli) był dwukrotnie posłem do pruskiego Landtagu (w latach 1870–1873 i 1876–1879). Był także głównym organizatorem śląskich dni katolików, które odbyły się w 1875 roku w Nysie i w 1876 roku w Raciborzu, jednym z inicjatorów powstania 3 stycznia 1874 roku gazety „Ratibor-Leobschützer Zeitung”, protektorem, a także założycielem licznych stowarzyszeń katolickich (chrześcijańskich matek (1868), mężczyzn (1874), św. Notburgi (1885), św. Cecylii (1888), św. Teresy (1889), robotniczego (1890), chrześcijańskich rodzin (1894) oraz katolickich młodych mężczyzn (1905)).