Po kapitulacji Warszawy, przenosi się wraz z resztkami wojska i członkami rządu do Płocka, gdzie już jako generał dowiaduje się o upadku ostatniego bastionu Królestwa Polskiego, jakim była twierdza Zamość. Nie wierząc w sens dalszej walki gen. Zieliński podaje się do dymisji. Nie opuszcza jednak, jak wielu innych oficerów i działaczy politycznych, kraju. Rychło więc zostaje aresztowany i osadzony w rosyjskim więzieniu, gdzie przebywa od marca 1832 do września 1834. Uwolniony ukazem w manifeście Cara Mikołaja I. Ten akt łaski uznany został jednak przez część środowisk patriotycznych, szczególnie emigracyjnych, za kompromitację osoby generała. Dla tego oraz dla kurowania zdrowia po pobycie w carskiej twierdzy wyjechał na wieś do "Dworu na Skierdach" w majątku prowadzonym pod jego nieobecność przez żonę Helenę. Ostatni rok życia spędził tam, w odległym o 4 km. od Gołymina Starym Garnowie. Zmarł tragicznie 18 września 1835 w wieku 48 lat po wypadku. Po żniwach, podczas oglądania wieczorem 17 września 1835 r. pracy nowo zakupionej do majątku Garnów parowej młockarni wynalazku Ferdynanda Krake, zbliżył się do niej niebezpiecznie i został porwany przez jej koło, tryby i ostrza. Nie zginął na miejscu, lecz zmarł następnego dnia o godzinie 10 rano (zapis pod poz. 25 na karcie 51 w księdze zmarłych parafii gołymińskiej za rok 1835).