Ostatecznie jednak papież Paweł VI interweniował u władz węgierskich, które 27 września 1971 zgodziły się na przejazd prymasa przez Węgry do Rzymu. Towarzyszył mu nuncjusz apostolski w Wiedniu abp Opilio Rossi. Na podwiedeńskim lotnisku Schwechat czekał na nich abp Casaroli. Dopiero później okazało się, że w trakcie poufnych negocjacji dyplomaci watykańscy obiecali rządowi węgierskiemu, że kard. Mindszenty nie będzie się wypowiadał publicznie i nie opublikuje swoich pamiętników. Prymas nic o tym nie wiedział. 23 października 1971 prymas przeniósł się do Wiednia, aby być bliżej ojczyzny. Przed wyjazdem jeszcze koncelebrował mszę z papieżem.

W lutym 1974, Paweł VI, pomimo wcześniejszych zapewnień, pozbawił kardynała urzędu arcybiskupa Ostrzyhomia i tytułu prymasa Węgier. Sam zaś Paweł VI zwykł go nazywać „ofiarą historii”, a nie „ofiarą komunizmu”.

Pozbawiony godności prymasa Węgier, ostatnie lata życia kard. Mindszenty spędził na emigracji w Wiedniu, w , często wyjeżdżając do znanego miejsca pielgrzymek w Mariazell. Tam też został pochowany po śmierci 6 maja 1975 w Wiedniu.