Po klęsce Mitrydatesa w wojnie z Rzymem, Chersonez stopniowo uzależniał się od imperium rzymskiego. W II wieku n.e. w mieście ustanowiono kontyngent wojsk rzymskich, podobnie jak i w innych miastach południowego Krymu. Rzymianie rozbudowali i unowocześnili fortyfikacje. W IV wieku Hunowie zajęli Krym, a Chersonez znacznie podupadł w związku z załamaniem gospodarczym, jednak nie został poważnie zniszczony. Pod koniec V wieku z inicjatywy i dzięki dotacjom cesarza bizantyjskiego Zenona odbudowano fortyfikacje miejskie, a miasto znów ożywiło się gospodarczo. Dobra koniunktura trwała i przy następnych cesarzach przez cały VI wiek.
W 711 w Chersonezie zaczął się bunt i wybrano cesarzem bizantyjskim oficera Filipikosa Bardanesa, który następnie przez dwa lata utrzymał się na tronie w Bizancjum. Aż do IX wieku miastem zarządzał lokalny samorząd, złożony z 40 obywateli. Jednak w IX wieku Chersonez ustanowiono siedzibą temu, a władzę objął strateg. W 988 na skutek zdrady Chersonez zdobyły wojska ruskie księcia Włodzimierza I, który jednak pod wpływem negocjacji zgodził się zwrócić miasto, a także według niektórych źródeł właśnie w Chersonezie przyjął chrześcijaństwo.