Tymczasem coraz większy wpływ na Edwarda wywierał Hugon Despenser Młodszy, zresztą szwagier Audleya. Miał on chęć na tę część włości de Clare'ów, które wniosła w posagu żona Audleya. W 1320 r. wyrugował przeciwnika z tych obszarów. To spowodowało, że Audley przyłączył się do feudalnej opozycji, kierowanej przez Lancastera. W kwietniu 1321 r. wszystkie włości Audleya został skonfliskowane, a on sam pojmany w marcu 1322 w Boroughbridge. Okres 1322–1326 r. Audley spędził w więzieniu. Egzekucji uniknął tylko dzięki wpływowi żony.
Po detronizacji Edwarda w 1326 r. Audley otrzymał z powrotem skonfiskowane dobra. W 1328 r. razem z Henrykiem Plantagenetem, 3. hrabią Lancaster, zbuntował się przeciwko władzy królowej Izabeli i Rogera Mortimera. W styczniu 1329 r. Audley poddał się i musiał zapłacić 10 000 funtów odszkodowania.
W 1330 r. udany zamach stanu przeciwko Mortimerowi przeprowadził Edward III. Audley stał się jego wiernym stronnikiem. W 1331 r. wyjeżdżał jako poseł do Francji, a w następnych latach uczestniczył w wyprawach na Szkocję. W marcu 1337 r. został kreowany hrabią Gloucester w zamian za zasługi dla Korony. W latach 1337–1338 brał udział w oblężeniu Dunbar w Szkocji. W 1339 r.