Wraz z nadejściem II wojny światowej ruszył transport kolejowy z bocznicy przy Domu Księcia, mający na celu wywiezienie rodzin wojskowych w bezpieczne miejsce. Plan zakładał wywiezienie na Kresy Wschodnie, do Kowla. Część z nich jednak wróciła, reszta obiektu była zamieszkana przez ludzi przybyłych podczas wojny z Wielkopolski. W 1943 r. wszyscy mieszkańcy Domu Księcia zostali usunięci ze swoich mieszkań. Budynek został przeznaczony na hotel dla niemieckich żołnierzy.
Po 1945 r. budynek przeszedł w ręce administracji gospodarki komunalnej i został przeznaczony na cele mieszkalne, kwaterowano w nim często tzw. uciążliwych lokatorów.
W 2008 r. częstochowski ZGM sporządził kosztorys renowacji, szacujący ich wartość na ponad 40 mln zł. W 2011 r. portugalska firma Mota Engil planowała wyremontować kamienicę w zamian za przyszłe dochody z czynszów, ale plan został zarzucony z powodu oporu lokatorów mieszkań własnościowych, którzy odmawiali sprzedania ich po cenie rynkowej.
Kamienica ta uważana jest za domniemane miejsce urodzin Piotra Skrzyneckiego.