Po wywiezieniu z obozu kozielskiego duchownych różnych obrządków do moskiewskiego więzienia na Łubiance w przededniu wigilii Bożego Narodzenia 24 grudnia 1939 (ksiądz Ziółkowski prawdopodobnie został wówczas przeoczony przez władze sowieckie; w odnalezionych pamiętnikach obozowych ppor. Bronisław Wajs zanotował pod datą 20 grudnia 1939, iż ksiądz Ziółkowski został karnie „zamknięty do tiurmy na siedem dni”; natomiast jak przypuszczał ocalały inny jeniec Stanisław Swianiewicz, władze obozowe mogły nie zorientować się, iż Ziółkowski jest duchownym z uwagi na jego umundurowanie oficerskie) pozostał ostatnim kapelanem obozowym w Kozielsku aż do jego likwidacji na wiosnę 1940. Po kryjomu i szybko odprawiał mszę świętą w piwnicy zabudowań oraz udzielał komunię świętą, przekazywał także żołnierzom książki do nabożeństwa, w tym O naśladowaniu Chrystusa autorstwa Tomasza Kempisa, które stanowiły dla nich oparcie duchowe. W marcu 1940 był spowiednikiem setek jeńców w czasie świąt Wielkanocnych. Podczas trwających wywózek z obozu, w niedzielę 7 kwietnia 1940 został wywołany do transportu, po czym odbyło się ostatnio tajne nabożeństwo dla jeńców, o czym wspomniał w ocalałym pamiętniku ppor. Dobiesław Jakubowicz.