Po rozbiorach Polski główna część Małego Kacka kilkakrotnie zmieniała właścicieli. Wpierw należała do Englikowskiego, od 1824 do rodziny Stobbe, od 1840 do rodziny Waschke, a następnie aż do 1939 roku do rodziny Kühlów, którzy budowali m.in. Dwór Młynarza z 1868 roku, obecnie w granicach Orłowa. W 1859 roku rodzina von Brauchitsch zakończyła przebudowę pałacu. W okresie międzywojennym jego właścicielem był Julius Jewelowski, a następnie Towarzystwo Nauczycieli Szkół Średnich i Wyższych w Warszawie. Do 1945 roku Mały Kack (z Kolibkami) był głównym skupiskiem miejscowej ludności protestanckiej na obszarze dzisiejszej Gdyni. W 1922 roku było ich ok. 300. Na cmentarzu przy kościele luterańskim chowano zmarłych różnych wyznań protestanckich i narodowości. Podczas walk w marcu 1945 kościół ten uległ znacznemu zniszczeniu. W latach 1948–1955 został znacznie rozbudowany jako katolicki kościół Marki Boskiej Bolesnej.