Nowatorska decyzja ostatniego Jagiellona, oddająca drogocenną kolekcję na własność narodowi, nie była respektowana, a królowie rodziny Wazów uważali ją za swoją własność osobistą. Powtarzana w literaturze wiadomość, jakoby Władysław IV Waza ofiarował w roku papieżowi Urbanowi VIII trzy arrasy biblijne, w wyniku najnowszych badań okazała się nieprawdziwa. Nie jest również prawdą, że w czasie potopu szwedzkiego w 1655 roku arrasy były ukryte przed grabieżą w zamku Jerzego Sebastiana Lubomirskiego na Spiszu. Ostatnio ustalono, że Jan II Kazimierz Waza przechowywał arrasy wraz z innymi ruchomościami w zamku w Malborku od wiosny 1668 do czerwca 1669.

Kiedy na sejmie abdykacyjnym (sierpień – wrzesień 1668) Jan II Kazimierz przedstawił swoją decyzję ustąpienia z tronu, posłowie zażądali zwrotu arrasów do Skarbu Koronnego. Król zabiegał o otrzymanie wynagrodzenia finansowego za 20 lat sprawowania władzy, lecz sejm wypłacanie pieniędzy uzależnił od spełnienia tego żądania. Ponieważ negocjacje nie zakończyły się pozytywnie, eks-król, opuszczając Polskę, zdeponował arrasy w tajemnicy u zaufanego Franciszka Gratty, bogatego patrycjusza miasta Gdańska, i ogłosił, że zostaną wydane, gdy otrzyma należną mu prowizję.