Pałac Ogrodowy Na terenie ogrodu w latach 60. XIX wieku powstał gmach Pałacu Ogrodowego. Został on wybudowany na terenie zwolnionym po wyburzeniu stajni (pamiętających jeszcze konflikt między gubernatorem, a Kompanią Wschodnioindyjską). Pałac oraz pomnik gubernatora Richarda Bourke’a zostały zaprojektowane przez architekta Jamesa Barneta na pierwszą Wystawę Światową. Budynek powstał w stylu wiktoriańskim, jego olbrzymia kopuła miała 30 metrów średnicy i znajdowała się ponad 61 metrów nad ziemią. W środku znajdował się posąg królowej Wiktorii. Cały pałac miał powierzchnię ponad 3 hektarów, co czyniło z niego największy budynek w Australii. Budynek spłonął w 1882 roku.
Rozwój w latach 1900–1999 mały|200x200px|Ogród w latach 30. XX wieku Po przejęciu stanowiska dyrektora ogrodu, Joseph Maiden powiększył ogród do jego największych rozmiarów w historii, zajmował on wtedy ponad . Maiden bazował głównie na pomysłach i projektach Moore’a, miał on jednak znaczny wkład w modernizację już ponad stuletniej instytucji. Niestety w wyniku I wojny światowej ogród utracił znaczną część środków pochodzących od Rządu Wielkiej Brytanii i Rządu Australii. Brak dofinansowania oraz wynikający z tego powodu fakt utraty znacznej części personelu doprowadził do upadku ogrodu po rezygnacji dyrektora Maidena w 1924 roku. Od tego czasu do lat 70.