W 1464 Hynek Krušina ze Švamberka sprzedał zamek Zdenkowi ze Śternberka. W tzw. Czarnej Komnacie zielonogórskiego zamku 16 czeskich magnatów podpisało 28 listopada 1465 roku zawiązując tzw. Unię Zielonogórską, tj. przymierze dążące do obalenia husyckiego króla, Jerzego z Podiebradów. W tejże sali 14 kwietnia 1467 unioniści podpisali układ przymierza z cesarzem Fryderykiem III, po tym jak papież Paweł II ekskomunikował Podiebrada.
Przebudowa na zamek W latach 1670–1688 Václav Vojtěch ze Šternberka przebudował kompleks zamkowy, nadając mu wczesnobarokowy wygląd. Od tej pory zamek był używany przez swych posiadaczy jako zamek mieszkalny lub myśliwski.
Rody szlacheckie władające zamkiem Schwanberg alias Švamberk (1420–1464) Sternberg alias Šternberk (1464–1726) Martinic (1726–1784) Colloredo-Mansfeld (1784–1852) Auersperg (1852–1931)
Kontrowersje dotyczące rękopisu zielonogórskiego W 1817 roku, kiedy Czesi zaczęli na nowo odkrywać swoją narodowość, urzędnik Josef Kovář miał odkryć na zamku zwój z dwóch kartek pergaminu ze starym rękopisem. Dziekan z Nepomuka uznał ten dokument za staroczeskie pismo z VIII–IX wieku. Tak zwany „rękopis zielonogórski” byłby wówczas najstarszym czeskim tekstem.