23 października Gauguin przyjechał do Arles i zamieszkał razem z Van Goghiem w "Żółtym Domu", jednak ich współpraca nie układała się najlepiej.
23 grudnia 1888 roku po gwałtownej sprzeczce z Paulem Gauguinem Vincent van Gogh obciął sobie ucho, w następstwie czego został nazajutrz przyjęty do szpitala Hôtel-Dieu w Arles. Znalazł się tam pod opieką doktora Félixa Reya.
W styczniu 1889 roku, po spędzeniu dwóch tygodni w szpitalu, van Gogh powrócił do swojego domu, wznawiając malowanie obrazów. 7 lutego jednak ponownie znalazł się w szpitalu, po tym, jak przeszedł atak paranoi. W szpitalu spędził dziesięć dni, po czym został wypisany, ale okazało się, iż cierpi na manię prześladowczą. Mieszkańcy Arles zwrócili się z petycją do władz o zamknięcie van Gogha. Pod koniec lutego van Gogh został ponownie hospitalizowany, a "Żółty Dom" został opieczętowany przez policję. O problemach zdrowotnych artysty pisała ówczesna lokalna prasa.
Podczas pobytu w szpitalu Vincent van Gogh namalował dwa obrazy ze szpitalem jako motywem;