Najstarsze części zamku pochodzą z XIV wieku, przez następne stulecia był stopniowo rozbudowywany i przekształcany. Jest typem zamku miejskiego od początku włączonego w system fortyfikacji Bielska i będącego zarazem najsilniejszym elementem jego obwarowań. Przez stulecia pełnił rolę śląskiej warowni granicznej, najpierw strzegąc granicy księstw dzielnicowych cieszyńskiego i oświęcimskiego, od połowy XV wieku granicy państwowej czesko-polskiej. Od końca XVI wieku rola obronna zamku malała i przekształcał się on coraz bardziej w rezydencję szlachecką. Współczesny wygląd budowli pochodzi z czasów ostatniej wielkiej przebudowy z drugiej połowy XIX wieku, która zatarła całkowicie jej dawne cechy stylowe. W latach 1899–1973, w miejscu widocznego obecnie od strony wschodniej ceglanego muru oporowego, stał ciąg tzw. Bazarów Zamkowych, tworzących podbudowę architektoniczną dla bryły zamku. Bazary wyburzono w związku z poszerzaniem ulicy Zamkowej.