W 1830 roku rozpoczęto nadzorowaną przez pruskiego inspektora budowlanego całkowitą restaurację wnętrza kościoła, którą umożliwiło udzielone przez dziekana Edmunda Bauscha wsparcie finansowe. W latach 1840–1860 wnętrze zostało ozdobione freskami autorstwa , a ponadto została z niego usunięta większość barokowego wyposażenia (ołtarz główny, stalle, ławki). W międzyczasie, w 1848 roku, na krótko przed śmiercią Lassaulxa zakończyła się restauracja wnętrza. W latach 1890–1894 świątynia otrzymała swój obecny wygląd za sprawą pokrycia całości jej murów zewnętrznych tufem wulkanicznym pod kierownictwem architekta . Oprócz tego wyburzono prawą nawę boczną i południową zakrystię, a następnie odbudowano je ze zmniejszoną grubością i szerokością murów.
Podczas II wojny światowej, w wyniku przeprowadzonego 6 listopada 1944 roku brytyjskiego bombardowania kościół św. Kastora został poważnie uszkodzony. Jego zewnętrzna fasada dodatkowo ucierpiała wskutek trafień pociskami artyleryjskimi w marcu 1945 roku, jednak kamienna substancja budowlana włącznie ze sklepieniem pozostała w większości nienaruszona. W latach 1946–1954 przeprowadzono odbudowę świątyni, zaś w 1955 roku wykonano prace malarskie we wnętrzu. W latach 1979–1990 przeprowadzono obszerne prace renowacyjne i restauracyjne na wieżach.