Historia zamku jest bardzo niejasna. Jako pierwszy pozostałości zamku na wzgórzu Kozlov powiązał z zamkiem wymienianym w źródłach pisanych jako Chlum August Sedláček. Założycielami byli prawdopodobnie przedstawiciele jednego z odgałęzień rodu Markvarticów. Według Augusta Sedláčka właścicielami zamku byli panowie z Valdštejna, z których niektórzy używali przydomka „z Chlumu”. Jako rok pierwszej pisemnej wzmianki podawany jest 1353, kiedy zamek Chlum należał do Jarka z Valdštejna. W 1362 zamek znajdował się w posiadaniu Hynka z Lomnice, który również należał do rodu panów z Valdštejna. Niedługo potem został włączony do dóbr valdštejnskich i jako zbędny opuszczony. Do spornych informacji należy wzmianka z 1335, kiedy Zdeněk z Valdštejna podpisywał się jako siedzący na Kopcu. August Sedláček ten Kopec (w łacińskim oryginale być może podany jako in Monte) powiązał z synonimicznym Chlumem, jednak według Rudolfa Anděla przydomek odnosi się raczej do lokalizacji Hrádek koło Hostinné.