Po raz pierwszy jednak pisemna wzmianka o zamku pojawia się w dokumencie z 1373. Wystawiony 6 stycznia przez księcia raciborskiego Jana I dokument, przyznaje rycerzowi Pasko w lenno zamek oraz miasto Bogumin i połowę wsi Zabełków. Był to wówczas typowy zamek obronny, otoczony fosą, który miał za zadanie chronić przeprawę przez pobliską rzekę. Zamek zmieniał wielokrotnie właściciela, którymi wpierw byli książęta raciborsko-opawscy, a w 1422 książę raciborski Jan II Żelazny sprzedał zamek Barutswerde rycerzowi Bielikowi z Kornicy. W roku 1523 kupił go margrabia Jerzy Hohenzollern, pan Bytomia i właściciel zamku w Raciborzu. Ze względu na zagrożenie tureckie przebudował on zamek – zapewne wówczas powstały umocnienia bastionowe. Według urbarza z początku XVII wieku zamek otaczały liczne zabudowania gospodarcze.