Działalność Jana, w dużej mierze sprzeczna z interesami możnowładców litewskich, przyzwyczajonych do samodzielności i braku kontroli wynikającej z rzadkiej obecności króla poświęcającego się głównie sprawom Królestwa Polskiego, nie osłabiła napięcia w stosunkach między nim a litewskimi panami, szczególnie z najmożniejszymi wówczas z nich Gasztołdami i Radziwiłłami. Jedynie z biskupem żmudzkim Mikołajem Radziwiłłem książę utrzymywał bliższe stosunki. Zmęczenie prawie dwudziestoletnią aktywną i prowadzoną w niechętnym środowisku działalnością spowodowało, że Jan w porozumieniu z królem zrezygnował 19 maja 1536 r. z biskupstwa wileńskiego. Zygmunt I mianował go wówczas biskupem poznańskim, po awansowanym do Krakowa Janie Latalskim, co zatwierdził papież Paweł III.
Gospodarz diecezji Mimo nie najlepszych początków związanych z uległością wobec matki, i mimo że aż do 1531 r. Jan nie przyjął święceń, jego działalność jako biskupa wileńskiego należy ocenić bardzo pozytywnie. Był troskliwym administratorem dóbr kapitulnych i biskupich. Dbał o ich powiększenie. Rozbudowywał sieć parafii, konsekrował kilka kościołów. W 1522 r. rozpoczął gruntowną przebudowę katedry wileńskiej. Po jej pożarze w 1530 r. zajął się energicznie odbudową zatrudniając Włochów: Bernardino Zanobiego de Gianottis i Giovanniego Cini.