Po szybkiej śmierci żony (Anne zmarła 25 stycznia 1684) James zaciągnął się do armii. W czerwcu brał udział w oblężeniu Luksemburga, ale zdążył zobaczyć tylko kapitulację twierdzy. W lipcu znalazł się ponownie u dziadka, któremu towarzyszył w wyprawie do Irlandii. Tam został pułkownikiem regimentu konnego. Po kilku miesiącach książę Ormonde został odwołany do Anglii, ale James pozostał w Irlandii, gdyż zachorował na ospę. Po przybyciu do Anglii otrzymał od nowego króla Jakuba II urząd Lorda Bedchambera. Został również wysłany do walki z rebelią księcia Monmouth, który chciał zdobyć angielską koronę.
W tym samym roku, 3 sierpnia, James poślubił swoją drugą żonę. Została nią lady Mary Somerset (zm. 19 listopada 1733), córka Henry’ego Somerseta, 1. księcia Beaufort, i Mary Capel, córki 1. barona Capel. James i Mary mieli razem syna, który zmarł w dzieciństwie, i dwie córki: Elizabeth (zm. 20 kwietnia 1750) i Mary (zm. 2 stycznia 1712), żonę Johna Ashburnhama, 1. hrabiego Ashburnham.