Po zniszczeniu w końcu XI wieku, gród został odbudowany na początku XII wieku z inicjatywy króla Bolesława Śmiałego i Władysława Hermana jako jeden z elementów umacniania północno-wschodniej granicy. Od połowy XIII wieku gród był obiektem ataków Prusów, Jaćwingów i Rusinów, czego efektem było jego zniszczenie, oderwanie od Polski i przyłączenie do księstwa halickiego Daniela Romanowicza. Po śmierci Bolesława Jerzego Trojdenowicza w 1340 r. Suraż najprawdopodobniej powrócił w skład Mazowsza po przyłączeniu go do swojego księstwa przez Ziemowita Trojdenowicza. Suraż po raz pierwszy został wzmiankowany w 1379 r., gdy podpisano w Trokach rozejm między Krzyżakami i książętami Jagiełłą (późniejszym królem Polski) i Kiejstutem i jest to także pierwsza pewna data, która potwierdza włączenie Suraża w skład Litwy. Rozejm był następstwem odbytej tego roku wielkiej rejzy krzyżackiej na ziemię drohicką i miał zabezpieczyć strony na 10 lat od wzajemnych ataków. Wśród grodów wymienionych w dokumencie wymieniono m.in. Suraż. W 1382 roku Suraż książę Janusz I Starszy ponownie włączył Suraż do Mazowsza, jednak niedługo później opanował go litewski książę Witold Kiejstutowicz. We wrześniu 1390 roku król Władysław Jagiełło przekazał mazowieckiemu księciu Januszowi I Starszemu grody w Surażu, Bielsku, Drohiczynie, MielnikuM.