Ponieważ jednak Kostka otrzymał zatwierdzenie swojej godności od generała zakonu cystersów, nie opuścił Oliwy, choć nigdy nie złożył profesji zakonnej.
Tłem sporu pomiędzy opatem Kostką a biskupem Rozdrażewskim były także losy posiadłości zakonu kartuzów, przejętych przez Oliwę w okresie reformacji. Kostka uzyskał w tej sprawie poparcie papieża Sykstusa V, który decyzją z 9 maja 1586 zabronił Rozdrażewskiemu podejmowania działań przeciw opactwu oliwskiemu. Udało się także Kostce zablokować plany Rozdrażewskiego dotyczące zreformowania, zależnego od Oliwy, klasztoru żeńskiego w Żarnowcu.
Poważne następstwa mogło mieć zignorowanie królewskiego żądania ustąpienia ze stanowiska opata. Stefan Batory wezwał Jana Kostkę i jego ojca, wojewodę pomorskiego na sejm, mający się odbyć w styczniu 1587. Przed procesem o obrazę majestatu uratowała Kostków śmierć króla, która nastąpiła 12 grudnia 1586.
We wrześniu 1587 w Zatoce Gdańskiej pojawiła się flotylla, przywożąca króla-elekta Zygmunta III.