Po opuszczeniu przez Gestapo domu, służący znalazł martwe ciało fabrykanta. Karol Geyer od 12 grudnia był przez Niemców przetrzymywany w obozie przesiedleńczym w Radogoszczu, a po kilku dniach wywieziony do Krakowa. Jednocześnie otrzymał zakaz powrotu do Łodzi. Niemcy skonfiskowali jego łódzki majątek, w związku z czym postanowił zamieszkać w Dąbrowie Zielonej.
W okresie II wojnie światowej przez majątek w Dąbrowie przewinęły się liczne wydarzenia. Nachodzili go Niemcy w celu odebrania kontyngentów zboża i bydła, a także partyzanci Armii Krajowej i Armii Ludowej, w celu zdobycia prowiantu, odzieży oraz pieniędzy. Co więcej, sam Karol Geyer był członkiem Uprawy – konspiracyjnej organizacji właścicieli ziemskich zaopatrującej partyzantów.
W grudniu 1943 Armia Ludowa porwała dla okupu Karola juniora, którego po 5 dniach uwolniła w zamian za gotówkę i spirytus. Następnie 2-krotnie został porwany Mariusz, będący żołnierzem Armii Krajowej – za pierwszym razem został wykupiony za pieniądze, jedzenie i spirytus. W trakcie drugiego porwania, 1 listopada 1944 Mariusz Geyer zginął, prawdopodobnie w trakcie próby odbicia zakładników przez jednostkę Narodowych Sił Zbrojnych. Po śmierci Mariusza rodzina Geyerów podjęła decyzję o wyjechaniu z okupowanej Polski.