Historia obrazu Przed II wojną światową obraz należał do Goudstikkera, żydowskiego marszanda z Amsterdamu, właściciela jednej z największych prywatnych kolekcji w Europie. Zgromadził on ponad 1100 dzieł dawnych mistrzów, co czyniło go jednym z czołowych handlarzy sztuki w latach trzydziestych XX wieku. W 1940 roku Goudstikker zginął, uciekając przed niemiecką okupacją. Wkrótce jego kolekcja została przejęta przez nazistów i odsprzedana Göringowi za sumę nieproporcjonalnie niską wobec jej rzeczywistej wartości. Wśród skonfiskowanych dzieł znajdował się również Portret damy. Źródła wskazują, że obraz trafił w ręce Kadgiena, oficera SS i bliskiego współpracownika Göringa. Po 1945 roku Kadgien wyemigrował i osiadł w Argentynie, gdzie zmarł w 1978 roku. W jego rodzinie obraz przetrwał kolejne dekady.
W 2025 roku Portret damy znalazł się w centrum zainteresowania badaczy i opinii publicznej. W ogłoszeniu o sprzedaży domu w Mar del Plata, należącym do córki Kadgiena, Patricii, dziennikarze holenderscy z „Algemeen Dagblad” dostrzegli obraz wiszący nad kanapą, odpowiadający archiwalnym fotografiom Portretu damy. Jego autentyczność wstępnie (zastrzegając konieczność badań bezpośrednich) potwierdziła Holenderska Agencja Dziedzictwa Kulturowego.