W 1603, w związku ze zniszczeniem mostu przez krę, budynek utracił swoją pierwotną funkcję. W 1643 król Władysław IV przeznaczył ją na prochownię. Przebudową zajął się armatni koronny (naczelnik artylerii) Krzysztof Arciszewski. Prace trwały od lipca 1648 do marca 1649 i kosztowały 7000 zł polskich (na podstawie dokumentów złożonych do sejmiku). Budynek otoczono palisadą i murem. Roboty murarskie prowadził Filip Męcina, drzwi, kraty i haki wykuł ślusarz królewski Wawrzyniec Refus, a kamienne obramowanie wyrzeźbił Włoch Hieronim Davin. Wieżę opasywała palisada, mur i rów z wodą. Brama wjazdowa z mostkiem prowadziła od ulicy Mostowej.
W połowie XVIII budynek został przebudowany pod kierunkiem Joachima Daniela Jaucha.
Za panowania króla Stanisława Augusta Poniatowskiego, kiedy naczelnikiem artylerii koronnej został Alojzy Bruehl, wybudowano nową prochownię poza okopami miejskimi, a starą w 1767 oddano na użytek marszałka wielkiego koronnego Stanisława Lubomirskiego. Ten przekształcił budowlę w więzienie dla osób skazanych na kary ciężkich robótK. Wł. Wójcicki, Warszawa i jej społeczność w początkach naszego stulecia, Warszawa, 1873, s. 17, na łamach Biblioteki Warszawskiej i nazwał ją Domem Kary i Poprawy.