Zgodnie z radą oboje z mężem wyjechali do Europy; podróżowali po Skandynawii, Rosji oraz do Wiednia i Paryża. Po powrocie do domu Isabella Stewart Gardner odzyskała zdrowie i pogodę ducha. Oboje nie mieli już dzieci. W 1874 roku wyjechali ponownie za granicę odwiedzając Bliski Wschód, Europę Środkową, i Paryż. Po powrocie okazało się, że zmarł jej szwagier, Joseph. Oboje z mężem zaadoptowali jego troje osieroconych dzieci. W Bostonie Isabella Stewart Gardner zyskała opinię osoby ekscentrycznej i oryginalnej, nazywano ją „jednym z siedmiu cudów Bostonu”.
W latach 70. zaczęła na serio zbierać książki, rękopisy i grafiki. Radą w tym zakresie często służył jej Charles Eliot Norton. Później jej zainteresowania przesunęły się w stronę malarstwa, a Bernard Berenson ukierunkował jej gust w stronę renesansu. W jej kolekcji znalazły się dzieła takich mistrzów jak: Giotto di Bondone, Sandro Botticelli, Tycjan, Rembrandt, Jan Vermeer, Peter Paul Rubens i inni. Nabywała również prace artystów współczesnych, których znała, w tym Johna Singera Sargenta, Jamesa McNeilla Whistlera i Andersa Zorna.