Jan XXI od samego początku pontyfikatu musiał zmierzyć się z problemami politycznymi. W 1263 roku papież Urban IV oddał Karolowi Andegaweńczykowi Królestwo Sycylii. Od tamtej pory władca rozszerzał swoje wpływy w Rzymie i państwie papieskim, czemu papież starał się przeciwdziałać. Prowadził również negocjacje z królem Niemiec Rudolfem dotyczące Romanii – dawnego egzarchatu Rawenny. Chciał, by władca ostatecznie zwrócił ją państwu papieskiemu.

Papież rozpoczął też przygotowania do krucjaty, o podjęciu której zadecydował Sobór Lyoński II. Wysłał wezwania do różnych krajów. Odpowiedzieli na nie Filip III z Francji i Alfons X, władca Kastylii i Leonu. W lutym 1276 roku Filip złożył przysięgę, iż osobiście poprowadzi swoje wojska na Saracenów. Na przeszkodzie stanęła jednak wrogość pomiędzy oboma władcami, który toczyli spór o Królestwo Nawarry. Papież zaangażował się w mediacje pomiędzy nimi. Udało mu się pogodzić rządzących, jednak już w 1277 roku ponownie rozpoczęli oni przygotowania do wojny przeciwko sobie.