Mimo to w okresie 1919–1939 działały tu liczne polskie organizacje. Od 1930 działał polski bank oraz Związek Polaków w Niemczech. W okresie II wojny światowej ośrodek konspiracji (Tajna Organizacja Wojskowa „Gryf Kaszubski” i Odra). W styczniu 1945 r. przez Bytów przeszedł marsz śmierci jeńców alianckich z obozu jenieckiego Stalag XX B. W 1945 zniszczony w 70% i włączony ponownie do Polski; 90% niemieckiej ludności miasta wysiedlono. Stopniowo odbudowywany; siedziba powiatu 1946–1975. W 1946 urzędowo zatwierdzono obecną nazwęZarządzenie Ministrów: Administracji Publicznej i Ziem Odzyskanych z dnia 7 maja 1946 r. ()., po 1947 Bytów oraz okolice został zasiedlony osadnikami ze wschodniej i centralnej Polski, m.in. w ramach akcji „Wisła”.
W miejscowości działał Zakład Rybacki Bytów wchodzący w skład Państwowego Gospodarstwa Rybackiego Słupsk.
Demografia Piramida wieku mieszkańców Bytowa w 2014: 690x480px
Zabytki thumb|Zamek w Bytowie jest siedzibą Muzeum Zachodniokaszubskiego thumb|Most kolejowy w Bytowie mały|Wieża kościoła św. Katarzyny