W 1824 roku zniósł także wszelką cenzurę ukazującej się w kolonii prasy.
Sam Brisbane opuścił Australię w grudniu 1825 roku po tym, jak minister kolonii, lord Bathurst, postanowił rozwiązać nabrzmiały konflikt między gubernatorem a sekretarzem kolonii (drugim najwyższym urzędnikiem w jej władzach) poprzez odwołanie obu do kraju.
Astronomia i późniejsze życie Brisbane przez całe życie interesował się astronomią, którą skończył na uniwersytecie, i choć nie utrzymywał się z niej, aktywnie prowadził obserwacje i prowadził profesjonalny zapis ich wyników. W 1808 roku stworzył swoje pierwsze obserwatorium astronomiczne, położone na terenie jego dóbr rodowych w Szkocji. Gdy został mianowany gubernatorem, zabrał ze sobą do Australii sprzęt astronomiczny oraz dwóch badaczy: Niemca Carla Ludwiga Christiana Rümkera i Szkota Jamesa Dunlopa. Z ich pomocą w 1822 roku otworzył w Parramacie pierwsze w Australii profesjonalne obserwatorium astronomiczne, finansowane z jego własnych środków i będące początkowo jego prywatną własnością (dopiero później zostało sprzedane władzom kolonii).