Korespondencja ze wczesnych lat 70. prowadzona pomiędzy biznesmenami z Eldon oraz Carlem E. Smithem, który to dopiero odziedziczył domek, wskazuje na różnicę zdań w sprawie wykorzystania budynku. Smith chciał go odnowić i objąć opieką jedynie przed wandalizmem. Znaczący mieszkańcy Eldon byli natomiast za uznaniem domku za miejsce o znaczeniu historycznymList z grudnia 1970 roku od Roberta Weidenbacha do Seldona Smitha; listy z 22 listopada 1971 roku oraz 10 grudnia 1971 roku pomiędzy Robertem Weidenbachem i Carlem E. Smithem. Wszystkie trzy znajdują się na wystawie w Centrum Domku z Obrazu American Gothic.. Przez większą część lat 70. domek był opuszczony; w sypialni na piętrze wystrzelono pocisk, zaś pogoda i wandalizm także przyczyniły się do złego stanu budynkuBiel, s. 32. Dopiero pod koniec lat 80. właściciel zaczął brać pod uwagę przekazanie domku państwu. Mieszkańcy południowej Iowy mieli podzielone zdanie na ten temat. Właściciel nie chciał się pozbyć domu tylko dlatego, iż ówcześni najemcy nie mieliby się gdzie podziać, gdyby zmuszono ich do opuszczenia miejsca zamieszkania.