Godoy został usunięty z urzędu w 1808 roku i od tego czasu żył na wygnaniu, aż do śmierci w 1851 roku.
Manuel Godoy kolekcjonował dzieła sztuki, posiadał m.in. Wenus z lustrem Velázqueza. Cenił Goyę jako artystę, zamówił u niego alegoryczne tonda, portret swojej żony, hrabiny Chinchón i najprawdopodobniej portrety Maja naga i Maja ubrana. Goya pracował także nad portretem konnym Godoya, którego nie skończył, a postać przemalował później na Portret księcia Wellingtona na koniu. Portret Godoya jako dowódcy został zamówiony dla upamiętnienia tzw. wojny pomarańczy, epizodu wojskowego, który miał miejsce między majem a lipcem 1801 roku na granicy hiszpańsko-portugalskiej. Konflikt zawdzięcza swoją nazwę bukietowi z gałęzi pomarańczy, który Godoy wysłał królowej Marii Ludwice, kiedy zajął miasto Olivenza. Obraz powstał między sierpniem a wrześniem 1801 roku. Nie wiadomo, czy zamówił go sam Godoy, czy też obraz powstał z inicjatywy pary królewskiej.