Zaangażowanie Zdzisława w politykę państwa i Warszawy, w której był także prezesem Centralnego Komitetu Obywatelskiego, odbiło się na stanie majątku w Małej Wsi. Słaby zarząd i hulaszczy tryb życia jej gospodarza doprowadził do znaczącego zadłużenia dworu. Szczęśliwie dla Zdzisława, jego córka Julia wyszła za mąż za arystokratę z Wielkopolski, Tadeusza Morawskiego, który objął zarząd nad zadłużonym majątkiem. Dzięki jego zaradności, zwłaszcza przez rozpoczęcie nowoczesnej uprawy jabłoni, udało się pospłacać długi i odbudować świetność majątku.
Rozwój został zahamowany przez wybuch II wojny światowej. W pałacu w Małej Wsi stacjonowali Niemcy, którzy zarządzali stąd okręgiem obejmującym ziemię grójecką. 10 listopada 1942 roku Zdzisław Lubomirski został aresztowany przez gestapo za działalność niepodległościową. Przez dwa miesiące był przetrzymywany w więzieniu bez postawienia zarzutów. Wreszcie został zwolniony, ale odniósł ciężkie i poważne rany, przez które nie zdołał już wyzdrowieć. W wyniku obrażeń zmarł 31 lipca 1943 roku w swoim domu w Małej Wsi. Pałac w Małej Wsi był w czasie II wojny światowej schronieniem dla wielu osób pozbawionych domostw lub prześladowanych przez hitlerowców. Zwłaszcza po wybuchu Powstania Warszawskiego i exodusie ludności Warszawy, rodzina Morawskich przyjmowała w pałacu wiele osób.