Po 1850 von Klahr przystąpił do budowy dworu i zabudowań gospodarczych. Dwór został nieznacznie przebudowany w 2. połowie XIX wieku. Do 1850. istniał spichlerz oraz stary dwór powstały zapewne w końcu XVIII w. (obecnie nieistniejący). Kotomierz liczył wtedy 339 mieszkańców, w tym 260 katolików i 79 ewangelików. Powierzchnia gruntów wynosiła 3386 mórg (około 1896 ha).
Na przełomie XIX i XX w. majątek Kotomierz-Klahrheim drogą koligacji rodzinnych przeszedł we władanie rodziny von Otto. Jak wynika z planu melioracji gruntów sporządzonego w 1889, oba skrzydła dworu istniały już wtedy w obecnej formie. Do 1939 właścicielem Kotomierza był Paul von Otto. W 1937 część majątku została rozparcelowana. W momencie sporządzania planu parcelacji, tj. 1 kwietnia 1937, powierzchnia majątku wynosiła 514,67 ha.
W czasie II wojny światowej, 10 listopada 1943, na stacji kolejowej w Kotomierzu nieznany polski oddział partyzancki doprowadził do zderzenia niemieckiego pociągu towarowego z transportem wojskowym, który w wyniku katastrofy zapalił się. Wskutek zderzenia ruch kolejowy został wstrzymany na 24 godzinyK.Ciechanowski, Ruch oporu na Pomorzu Gdańskim 1939-1945, Warszawa 1972, s. 345.