Podczas wojny z okresu V koalicji antyfrancuskiej kościół św. Ducha przeznaczono na skład magazynowy, mimo to ciągle odprawiano w nim msze. W 1812 roku wyremontowano przy kościele stajnię, kuchnię i izby w domu prepozyta. W 1815 wybudowano parkan wokół przyszpitalnego cmentarza. Od 1816 roku corocznie dokonywano remontów budynków gospodarczych i szpitala. W latach 1818, 1821 i 1823 wykonywano także remonty przy kościele, wybudowano m.in. nową wieżę kościelną. Starania te nie były jednak w stanie poprawić ogólnego stanu zabudowań kościelnych na poziomie wystarczającym do utrzymania placówki. Według lustracji z 1819 roku kościół był bardzo ubogi, a komisarze stwierdzili, że nie ma żadnych przeszkód do połączenia go z kolską farą. W pierwszej połowie XIX wieku część gruntów kościoła zajęto w celu wytyczenia nowej ulicy idącej wzdłuż Warty.
Kolejny przegląd miał miejsce 16 maja 1824 roku, a komisja stwierdziła wtedy, że budynki są w fatalnym stanie i na mocy postanowienia namiestnika Królestwa Polskiego z 27 maja 1817 roku muszą zostać rozebrane w celu uniknięcia zawalenia się. Do 1826 roku rozebrano szpital i zabudowania gospodarcze, a mieszkanie księdza i dom przy kościele zostały upaństwowione i następnie spieniężone.