Również biskupi Warmii i Pomezanii potwierdzili w roku 1323 niepodzielność majątku opactwa.

Opaci oliwscy uznawali zwierzchnictwo Krzyżaków. Brali nawet ich stronę podczas sporów z Polską przed obliczem papieża. Co nie przeszkodziło im, w 1325 roku, mimo wyraźnego zakazu Krzyżaków, wpłacić świętopietrza na ręce biskupów polskich. Ostatecznie zatargi Oliwy z Krzyżakami wygasły w 1342 roku, kiedy wielki mistrz Ludolf König von Wattzau uznał wszystkie roszczenia cystersów.

25 marca 1350 roku ogień doszczętnie strawił kościół i klasztorWładysław Grabski 300 miast wróciło do Polski IW PAX, 1960, s. 314.; pożar najprawdopodobniej wybuchł podczas czyszczenia kuchennego komina. Kościół odbudowano w ciągu pięciu lat, przy czym nadano mu styl gotycki. Przedłużono prezbiterium w kierunku wschodnim, a w miejsce zlikwidowanych kaplic wybudowano ambit i łączącą się z nim opacką kaplicę św. Krzyża. Nawę główną przedłużono o cztery przęsła, przez co świątynia osiągnęła obecne rozmiary. W klasztorze powstały wówczas refektarz wielki oraz lawatoriumM.A. Szypowscy, Oliwa, ss.20-21.. Pieniądze na odbudowę pochodziły, między innymi, z kasy wielkiego mistrza Heinricha Dusemera.