Po wygranej Partii Pracy w wyborach 1964 r. Brown objął nowo utworzone stanowisko ministra spraw ekonomicznych. Otrzymał również tytuł pierwszego sekretarza stanu. Na tych stanowiskach Brown odpowiadał za przygotowanie „narodowego planu” ekonomicznego. Plan został przedstawiony 16 września 1965 r. i określał wszystkie aspekty rozwoju ekonomicznego kraju w okresie najbliższych pięciu lat. Po wyborach 1966 r. Brown opowiadał się za jak najszybszą dewaluacją funta. Sprzeciwiali się temu premier Wilson i kanclerz skarbu Callaghan. Kiedy gabinet stosunkiem głosów 17 do 6 opowiedział się przeciw dewaluacji, Brown złożył rezygnację. Otrzymał wówczas stanowisko ministra spraw zagranicznych. W maju 1967 r. złożył drugie podanie o przyjęcie Wielkiej Brytanii do EWG, ale podobnie jak pierwsze zostało ono zawetowane przez Francję.
Brown zrezygnował dość niespodziewanie w marcu 1968 r. Jako przyczynę podawano problemy ministra z alkoholem. Dzień wcześniej miał przyjść pijany na spotkanie z premierem. W 1970 r. Brown przegrał wybory parlamentarne w swoim okręgu. Wkrótce potem został kreowany parem dożywotnim jako baron George-Brown i zasiadł w Izbie Lordów. Z tej okazji zmienił nazwisko na George-Brown. W 1971 r. opublikował swoją autobiografię pt. In My Way. W 1981 r. przeszedł do Partii Socjaldemokratycznej.