Nie brał jednak czynnego udziału w pracach gabinetu i głosował przeciwko odwołaniu ustawy o opłacie skarbowej (Stamp Act 1765).
Naczelny dowódca armii Kiedy w 1766 r. nowym premierem został lord Chatham, Granby otrzymał dodatkowo stanowisko naczelnego dowódcy Sił Zbrojnych. Pozostał na obu stanowiskach także kiedy w 1768 r. Chathama zastąpił książę Grafton. Granby sprzeciwiał się działaniom rządu mającym na celu usunięcie z parlamentu deputowanego Johna Wilkesa, ale osobista niechęć do deputowanego sprawiła, że 3 lutego 1769 r. Granby zagłosował ostatecznie za pozbawieniem Wilkesa mandatu parlamentarnego.
Ta decyzja przesądziła o dalszych politycznych losach Granby’ego. W tym czasie gabinet Graftona stał się celem ataków tajemniczego „Juniusa”, który publikował w prasie listy oskarżające członków gabinetu o nieudolność i korupcję. Junius nie oszczędzał nawet Granby’ego, który jednak jako bohater wojny siedmioletniej mógł wyjść z tej fali krytyki obronną ręką, jednak jego postępowanie w sprawie Wilkesa dało jego przeciwnikom dodatkowy powód do krytyki.