Zamieszkały z nimi również dzieci Leokadii – Guillermo i Rosario, która mogła być córką Goi.
W 1823 roku przygotowując się do emigracji, Goya przekazał dom wraz ze znajdującymi się w nim malowidłami ściennymi swojemu wnukowi, Mariano. Chciał w ten sposób ochronić posiadłość przed możliwymi represaliami ze strony odradzającej się monarchii absolutnej Ferdynanda VII, która prześladowała profrancuskich kolaborantów i liberałów. W 1830 roku dwa lata po śmierci malarza, Mariano przekazał dom swojemu ojcu, Javierowi.
Przez 50 lat od wyjazdu Goi niewiele osób wiedziało o istnieniu czarnych obrazów, opisało je zaledwie kilku krytyków, w tym m.in. Charles Yriarte. W 1873 roku posiadłość odkupił Emil von Erlanger, francuski bankier o niemieckim pochodzeniu. Rok później zlecił przeniesienie obrazów na płótna.
Emil von Erlanger wystawił czarne obrazy w Paryżu na Wystawie światowej w 1878 roku z zamiarem sprzedaży. Nie zostały jednak pozytywnie odebrane, gdyż ich ekspresyjność wykraczała poza ówczesne kanony sztuki. Ostatecznie w 1881 roku bankier podarował je Muzeum Prado, gdzie znajdują się do dziś.