W 1803 r. został adiutantem króla Jerzego III, a w 1807 r. podsekretarzem stanu w ministerstwie wojny i kolonii. Dwa lata później został adiutantem generała Johna Moore'a i wziął udział walkach z Francuzami na Półwyspie Iberyjskim, odznaczając się zwłaszcza w bitwie pod Talaverą, za co otrzymał podziękowania od Parlamentu. 20 listopada 1813 r. został pułkownikiem 25 pułku lekkich dragonów i został odznaczony Krzyżem Kawalerskim Orderu Łaźni. W tym samym roku został wysłany do Prus. Brał udział w bitwie pod Kulm, gdzie został ranny.
Stewart otrzymał wiele państwowych odznaczeń różnych krajów. W 1814 r. został mianowany baronem Stewart i zamienił miejsce w Izbie Gmin na miejsce w Izbie Lordów. Otrzymał też honorowe tytuły naukowe uniwersytetów Oksfordzkiego i Cambridge. Został też członkiem Tajnej Rady i Lordem Bedchamberem króla Jerzego. Mianowany ambasadorem w Wiedniu, brał, razem ze swoim przyrodnim bratem, Castlereaghem, udział w obradach kongresu wiedeńskiego. Funkcję ambasadora lord Stewart sprawował przez 9 lat.