social realism w sztuce cieszył się dużo większym zainteresowaniem opinii publicznej niż wyrafinowane abstrakcje autorstwa Rebay i jej przyjaciół.
Rebay była dwukrotnie aresztowana. Pierwszym razem podczas II wojny światowej (1942–1943) pod zarzutem kontaktów z nazistami (zarzut później wycofano) oraz gromadzenia racjonowanej żywności. W czasie jej nieobecności obowiązki dyrektora Fundacji pełnił Rudolf Bauer, który od dawna pragną objąć tę funkcję. Jednakże Solomon Guggenheim przywrócił Rebay na to stanowisko, gdy tylko została oczyszczona z zarzutów. Ponownie aresztowano ją w 1963 za nadużycia podatkowe w związku ze znacznym zawyżeniem wartości obrazów, które podarowała Muzeum Guggenheima.
W 1944 Bauer poślubił Louise Huber, Austriaczkę, którą wcześniej zatrudniał jako swoją służącą. Zbulwersowana tym Rebay pisemnie zelżyła Louise. Bauer uznał to za oszczerstwo i w imieniu żony wytoczył Rebay proces o zniesławienie. W 1945 Rebay wygrała sprawę.