Przed II wojną światową dwór był w pełni wyposażony i otoczony parkiem z rabatami kwiatowymi oraz krzewami bzu i leszczyny. Wewnątrz budynku znajdowały się m.in. dwa salony, pokój niebieski, jadalnia, biblioteka, kancelaria oraz zaplecze dla służby.
15–18 października 1939 roku niemieccy okupanci przeprowadzili we Włocławku i okolicy masowe aresztowania nauczycieli, kapłanów oraz ziemian na podstawie przygotowanych list. Wśród zatrzymanych znalazł się właściciel majątku Oleszna, Bolesław Grochulski. Aresztowani byli przetrzymywani we włocławskim więzieniu, a następnie w grupie około 200 mężczyzn zostali wywiezieni wagonami bydlęczymi przez Toruń do obozów i miejsc internowania w Prusach Wschodnich (Springborn, Hochenbruch, Grossmischen), skąd Bolesław Grochulski trafił do obozu koncentracyjnego (Soldau) w Działdowie, gdzie został zamordowany. Majątek zarekwirowano, a rodzinę właścicieli wysiedlono. Zmarli członkowie rodziny Karnkowskich zostali ostatecznie pochowani w grobowcu rodzinnym na cmentarzu parafialnym w Zadusznikach.