Za czasów Klaudiusza prawdopodobnie jeszcze nieumocnione, fortyfikacje obronne zyskało dopiero wskutek zagrożenia podczas wojen markomańskich.
W okresie wędrówek ludów najechane i splądrowane w 452 roku przez Hunów, a w V–VI wieku niszczone też przez najazdy Słowian, mimo to od wieku IV do VII/VIII pozostawało stolicą wczesnochrześcijańskiego biskupstwa.
W XIV wieku odrodziło się jako siedziba hrabiów Celju, możnowładców spokrewnionych z Piastami i Jagiellonami, dysponujących w XV stuleciu rozległymi posiadłościami w Styrii, Krainie i Karyntii (stąd ich herb z 3 złotymi gwiazdami, zawarty obecnie nie tylko w herbie miejskim, lecz także w słoweńskim herbie państwa i fladze narodowej) i rozciągających swe wpływy na królestwo węgierskie. Po zamordowaniu i bezpotomnej śmierci księcia Ulryka II w 1456 Celje wraz z resztą dziedzicznych posiadłości przeszło na własność Habsburgów, pozostając odtąd jako część Styrii w granicach ich cesarstwa. Doprowadzenie w 1846 linii kolejowej istotnie wpłynęło na dalszą rozbudowę i uprzemysłowienie miasta.