książę wirtemberski Ulryk, który wprowadził w swym księstwie reformację, przejął klasztor, usuwając zeń benedyktynów.

Losy zabudowań po likwidacji opactwa thumb|Ruiny zamku myśliwskiego książąt wirtemberskich W dawnym klasztorze z czasem umieszczono protestancką szkołę. W końcu XVI w. książę wirtemberski Ludwik III rozkazał wznieść tutaj zamek myśliwski. Imponujący gmach wzniesiono w stylu renesansowym na miejscu dawnego domu opata. Jeszcze w okresie wojny trzydziestoletniej w 1629 roku edykt restytucyjny umożliwił benedyktynom powrót do Hirsau, jednak po pokoju westfalskim w 1648 roku klasztor przeszedł ostatecznie w ręce luterańskie.

W 1692 roku budynki dawnego klasztoru zostały spalone przez żołnierzy francuskich i odtąd pozostawały w ruinie. Do obecnych czasów z kościoła św. Piotra i Pawła ocalała jedynie północna z wież wznoszących się do zachodu, pochodząca z rozbudowy na początku XII w. (zwana Wieżą Sowią), a z dawnego kościoła św. Aureliusza zachował się korpus nawowy;