W 1940 willa została sprzedana Rzeszy Niemieckiej za sumę 422 500 marek i przekazana wojskowym władzom niemieckim, które prowadziły w niej do 1941 lazaret, i użyczona później gen. piechoty Bodewinowi Keitlowi, młodszemu bratu feldmarszałka Wilhelma Keitla1 marca 1943 został mianowany zastępcą Komendanta Generalnego XX Korpusu Armijnego i dowódcą wojskowym XX Okręgu Wojskowego z siedzibą w Gdańsku.
Wśród gości rezydencji byli m.in.: następca tronu Niemiec Wilhelm Hohenzollern oraz Wojciech Kossak (1913)Anna Gronczewska: Herbstowie, słynna łódzka rodzina z niemieckimi korzeniami, Dziennik Łódzki z 18 maja 2017.
Okres po 1945 Zniszczona w 1945, została odbudowana w 1955, znacznie odbiegając od dotychczasowego kształtu i dbałości konserwatorskiej o detale, gdyż przekształcona w dom wielorodzinny, i przekazana wojskowej administracji mieszkań (14 lokali). Należący do rezydencji park Haffnera (2,6 ha), nazywany dawniej Gajem Królowej Elżbiety, stał się publiczny. Dom gościnny zwany też oficyną z 1896 (proj. Carl Kupperschmitt) zajęło po II wojnie światowej przedszkole. Budynek mieszczący stajnie wraz z mieszkaniami dla służby z 1906 (proj. Adolf Bielefeldt) – zajmowała przez długie lata powojenne Spółdzielnia Rękodzieła Artystycznego "Baltskór" (ul. Kościuszki 33a).