margrabia brandenburski Otton VI Mały niespodziewanie napadł na Międzyrzecz, zdobywając, łupiąc i paląc podgrodzie wraz z miastem. Napastnikom udało się także podpalić gród, który jednak oparł się oblężeniu.
Rozpoczęcie budowy założenia zamkowego miało miejsce w końcu XIII lub początku XIV wieku, kiedy gród uzyskał – w miejsce drewnianej – murowaną bramę i prawdopodobnie stołp. Prace nad budową murów obwodowych rozpoczęto około roku 1350 z polecenia króla polskiego Kazimierza Wielkiego. Budowę zamku odnotowują polscy kronikarze Janko z Czarnkowa oraz Jan Długosz. Według powojennych badań archeologicznych ustalono, że ceglane mury obwodowe budowano jeszcze po 1350 r., do około 1380 r. Podczas wojny domowej w Wielkopolsce (1382–1385), wg kronikarza Jana z Czarnkowa, międzyrzecki zamek stanowił jedną z baz wypadowych stronnictwa Domarata z Iwna, z których wychodziły wyprawy łupieskie na dobra buntowników. W 1474 r., dzięki zdradzie burgrabiego, Sędziwoja Żydowskiego, przejściowo zajęty przez wojska Jana II Szalonego i Macieja Korwina. 14 października 1520 po wcześniejszym ostrzale artyleryjskim zdobyty szturmem przez najemników krzyżackich pod dowództwem Wolfa von Schönburga wspomagających zakon krzyżacki w wojnie polsko-krzyżackiej.