Maurice uzyskał miejsce w Izbie w 1831 r., Craven i Grantley rok później, zaś Francis dopiero w 1837 r. Grantley reprezentował okręg West Gloucestershire. Nie udało im się jednak poprzeć roszczeń brata i tytuł parowski pozostał przy Thomasie. William otrzymał inny parowski tytuł, barona Segrave (w 1831 r.).
Grantley zasiadał w Izbie Gmin bez przerwy przez 20 lat, do 1852 r. Nie angażował się bardzo w życie polityczne, rozwijał za to swoje pasje literackie. W 1836 r. opublikował swoją pierwszą powieść, Berkeley Castle, romans historyczny w 3 tomach. Został on ostro skrytykowany w sierpniowym numerze Frazer’s Magazine. Berkeley bardzo się tym zirytował i 3 sierpnia 1836 r. odwiedził w towarzystwie swojego brata Cravena księgarnię przy Regent Street 215, prowadzoną przez Jamesa Frasera, wydawcę Frazer’s Magazine. Craven stanął na straży, a Grantley w niewybrednych słowach zażądał od Frasera nazwiska anonimowego krytyka. Fraser odmówił i wywiązała się bójka w której przewagę uzyskał atletycznie zbudowany Berkeley. Wkrótce jednak pojawiła się policja i obaj Berkeleyowie zostali aresztowani i skazani na karę grzywny. W międzyczasie okazało się, że anonimowym krytykiem był dr William Maginn, redaktor magazynu. 5 sierpnia doszło między nim a Berkeleyem do pojedynku, w wyniku którego Maginn został lekko ranny.