Małżeństwo z ostatnią przedstawicielką mazowieckiej linii Piastów doprowadziło jednak do ostrego konfliktu Odrowąża z dworem królewskim. Zgodnie z wcześniejszymi ustaleniami księżna Anna po wyjściu za mąż miała zrezygnować z użytkowanych przez siebie dóbr na Mazowszu i otrzymać w zamian posag ze skarbu królewskiego. Małżonkowie początkowo odmówili wydania części tych dóbr, domagając się wcześniejszego uregulowania należności finansowych. Król Zygmunt i królowa Bona nie zgodzili się na kompromis, a spór zakończył się odebraniem Odrowążowi dochodowych starostw lwowskiego i samborskiego, które następnie przekazano królowej Bonie. Wyrokiem królewskim wydanym podczas sejmu w 1537 roku oddalono roszczenia Anny do jej mazowieckich dóbr, zaś 5 marca tego roku król stwierdził, że po otrzymaniu 15 000 złotych uznała ona swoje pretensje wynikające z posagu za zaspokojone i zrzekła się dalszych praw do księstwa mazowieckiego.
Sprawa Odrowąża stała się jednym z tematów niezadowolenia szlachty podczas rokoszu lwowskiego w 1537 roku. Uczestnicy zgromadzenia domagali się m.in. zwrotu mu starostwa lwowskiego oraz praw do Sambora.