Wieże zbudowane na zamku w Bytowie są pierwszymi znanymi tego rodzaju wieżami przystosowanymi do użycia broni palnej w środkowej Europie; były poprzednikami bastei. W czwartym narożniku powstała połączona z Domem Głównym kwadratowa wieża (Prochowa), która została wysadzona przez Szwedów w 1656 roku podczas potopu szwedzkiego i zrekonstruowana w latach 30. XX w.

Przy skrzydle północno-zachodnim postawiono trzypiętrowy, podpiwniczony gotycki dom mieszkalny („Dom Zakonny” lub "Dom Główny") o wymiarach 13 x 39 metrów. Budynek ten był podpiwniczony i powyżej miał cztery kondygnacje. Na parterze znajdowała się piekarnia, izba piekarza i browar. Na pierwszym piętrze znajdowały się najważniejsze pomieszczenia, takie m.in. jak refektarz, kaplica, komnata prokuratora. Na dwóch najwyższych kondygnacjach mieściły się magazyny. Ganek obronny obiegał cały Dom Główny.

Przy skrzydle południowo-zachodnim zbudowano piętrową kuchnię z magazynem żywności. W jej sąsiedztwie znajdowała się studnia. Dziedziniec był przedzielony biegnącym równolegle do Dom Głównego murem poprzecznym przez co dziedziniec był podzielony na dwie części.