Począwszy od końca lat 80. Gardnerowie często podróżowali po Ameryce, Europie i Azji, aby poznać inne kultury i poszerzyć swoją wiedzę na temat sztuki na całym świecie. Isabella Stewart Gardner opisywała z pasją swoje podróże. Ulubionym jej celem stała się Wenecja. Razem z mężem regularnie bywała w Palazzo Barbaro, znaczącym ośrodku artystycznym, skupiającym amerykańskich i angielskich emigrantów w Wenecji. Podczas pobytu w tym mieście kupowała dzieła sztuki i antyki, chodziła do opery oraz jadała obiady w towarzystwie emigracyjnych artystów i pisarzy. Jej miłość do miasta i do kultury włoskiej zainspirowała ją do założenia muzeum. Po powrocie do Bostonu została organizatorką rozrywek i regularną sponsorką Boston Symphony Orchestra. Razem z mężem gościła znane postacie ze świata kultury, takie jak: pisarka Sarah Orne Jewett, pisarz i filozof George Santayana, działaczka społeczna Julia Ward Howe czy malarz John Singer Sargent. W archiwach zachowało się ponad 7 000 listów od 1 000 korespondentów.