Został zaadaptowany na więzienie; najsławniejszym osadzonym był przyszły król Henryk IV Burbon, uwięziony na krótko w czasie wojen religijnych, jeszcze jako protestancki król Nawarry.
W XVII wieku Louis Le Vau na polecenie Ludwika XIV rozpoczął przebudowę zamku na cele reprezentacyjne, lecz nigdy jej nie ukończył, ponieważ uwaga władcy skoncentrowała się na Wersalu. Ostatecznie Vincennes zostało przekazane w zamian za Vaux-le-Vicomte Fouquetowi, ministrowi skonfliktowanemu z wszechwładnym królem. Fouquet, ostatni arystokratyczny lokator zamku, stracił na tej zamianie.
W XVIII wieku zamek przekształcono najpierw na manufakturę porcelany, następnie na więzienie stanu. Wśród osadzonych byli markiz de Sade, Denis Diderot oraz Mirabeau, a w czasie rewolucji francuskiej głównie zakonnice i zakonnicy, którzy odmówili przysięgi na wierność państwu. W 1796 rozlokowano tam fabrykę broni, koszary i arsenał. W późniejszych latach zamek znowu był więzieniem: przetrzymywano tam republikańskich spiskowców w czasach monarchii lipcowej oraz wrogich Napoleonowi III byłych deputowanych do Zgromadzenia Narodowego w 1851.