W 1951 r. z Compagnie de l'Art Brut zrezygnował André Breton, w tym samym roku w wyniku różnych trudności kolekcja Art Brut została „wyeksmitowana” z dotychczasowych pomieszczeń. Jean Dubuffet powierzył ją artyście Alfonso Ossorio, który umieścił ją w East Hampton, niedaleko Nowego Jorku. Na tym swoistym wygnaniu, liczący już 1200 dzieł 100 autorów, zbiór przebywał ponad dziesięć lat.
W 1959 r. Jean Dubuffet, tym razem w towarzystwie „galernika” Alphonse’a Chave, powrócił do poszukiwaniu dzieł Art Brut. Efektem tych poszukiwań była wystawa zatytułowana „L'Art Brut” w Galerii Chave.
W 1962 galeria Cordier & Ekström w Nowym Jorku pokazała wybrane dzieła z kolekcji Dubuffeta. Po wystawie cała kolekcja wróciła do Francji, do dworku przy rue de Sevres w Paryżu. Compagnie de l'Art Brut odrodziła się, przekształcając się w centrum badawcze. Kuratorem miejsca został Kopac Slavka. Kolekcja cały czas rosła, dzięki licznym zakupom i darowiznom liczyła już dwa tysiące dwieście dzieł.