Swoje zbiory Gardnerowie początkowo trzymali w domu, ale w 1896 roku stwierdzili, że jest on już za mały na ekspozycję dzieł sztuki. Zwrócili się do jednego z architektów z prośbą o zaprojektowanie odpowiedniego budynku. Jack Gardner zmarł 10 grudnia 1898 roku zostawiając Isabelli w spadku nieruchomość wartą 3,6 miliona dolarów, która dawała jej roczny dochód w wysokości 97 tysięcy dolarów w czasach, gdy podatek dochodowy nie istniał. Isabella kontynuowała koncepcję budowy muzeum. W 1898 roku kupiła w tym celu działkę. Architekt Willard T. Sears sporządził plany i w czerwcu 1899 ruszyła budowa Fenway Court. Isabella Stewart Gardner nadzorowała regularnie budowę. Budowa została zakończona w listopadzie 1901, a następny rok Gardner spędziła na rozmieszczaniu swojej kolekcji w nowym budynku. W styczniu 1903 roku jej muzeum zostało otwarte. thumb|Grobowiec rodzinny Gardnerów na Mount Auburn Cemetery w Cambridge. Znalazło się w nim wiele cennych, europejskich dzieł sztuki. Pomocą w ich nabywaniu służył Isabelli Stewart Gardner dawny znajomy, krytyk sztuki, Bernard Berenson. To on doradził jej zakup obrazów z epoki włoskiego renesansu. Tylko nieliczni kolekcjonerzy byli wtedy zainteresowani tego typu dziełami, a Gardner była jedną z pierwszych, która zaczęła je z całą powagą gromadzić.