W 1342 Krzyżacy utracili Słupsk, dlatego przenieśli z niego na krótko komturstwo do Bytowa. Prawa miejskie osada otrzymała 12 lipca 1346. W latach 1390–1405 Krzyżacy odbudowali zamek, w 1409 gród został zdobyty przez wojska polskie. W 1410 po bitwie pod Grunwaldem został przekazany przez króla Władysława Jagiełłę księciu pomorskiemu Bogusławowi VIII. W 1411 na mocy pokoju toruńskiego ziemia bytowska wróciła do Krzyżaków. Po inkorporacji państwa Zakonu Krzyżackiego do Królestwa Polskiego, w dniu 2 grudnia 1454 król Kazimierz Jagiellończyk przekazał Bytów księciu szczecińskiemu Erykowi IINa Ziemi Ojców, Rocznik Ziem Zachodnich i Północnych, 1962, Towarzystwo Rozwoju Ziem Zachodnich, s. 179.. Eryk II w 1460 zerwał przymierze z Polską i przekazał Bytów Krzyżakom, jednak w 1466 Eryk II odzyskał ziemię bytowską poprzez wykup. W latach 1526–1637 wraz z całą ziemią lęborsko-bytowską był lennem Polski. W 1637 Bytów z Lęborkiem został przyłączony do Królestwa Polskiego. W dniu 6 listopada 1657 Bytów po traktacie bydgoskim trafił pod władzę Brandenburgii (dynastii Hohenzollernów), formalnie jako lenno Polski. W 1772 miasto zajęli Prusacy. thumb|center|400px|Bytów w XVII w. thumb|Rynek w Bytowie thumb|Centrum Bytowa W 1912 Polacy stanowili w powiecie bytowskim ok. 15% ludności i traktat wersalski pozostawił miasto w granicach Niemiec.