Obecne miasto założyli w 824 roku Saraceni, kopiąc wokół niego ogromny rów obronny. Miasto zostało nazwane Chandak (arab. خندق, „fosa”). Saraceni udostępniali port piratom napadającym na statki bizantyjskie, jako schronienie i bazę wypadową, co było przyczyną wrogich stosunków z Cesarstwem Bizantyńskim.

W 961 roku Bizantyjczycy pod wodzą Nikiforosa Fokasa zdobyli miasto, a po splądrowaniu i wymordowaniu wszystkich Saracenów doszczętnie spalili. Liczne skarby zgromadzone przez piratów przewieźli zaś do Konstantynopola na 300 okrętach. Bizantyjczycy kontrolowali odbudowany Chandak przez kolejne 243 lata.

mały|lewo|Widok miasta z końca XV wieku W 1204 roku miasto zostało zakupione przez Wenecję za 1000 sztuk srebra. Było to elementem zabiegów politycznych, które miały doprowadzić w czasie IV krucjaty do intronizacji syna byłego cesarza Izaaka II, Aleksego Angelosa. Wenecjanie rozbudowali system obronny miasta, aby chronić się najpierw przed rebeliami niechętnej wobec nich miejscowej ludności oraz rajdami tureckimi. Powstały fortyfikacje, których większość nadal istnieje – m.in. forteca Kules w porcie oraz majestatyczny mur z 7 bastionami (grubość murów do 40 m). Nazwę Chandak zastąpiła jej włoska wersja, Candia. Miasto zachowało ją przez stulecia;