imię Barry’ego nosił późniejszy premier RPA JBM Hertzog.
James Barry zyskiwał także grono wrogów, krytykując lokalnych urzędników i ich załatwianie spraw medycznych, ale przewaga bliskich relacji z gubernatorem oznaczała, że reperkusje tych głoszonych jawnie poglądów były zwykle łagodzone.
Barry został awansowany do stopnia Chirurga Sił Zbrojnych w dniu 22 listopada 1827 r. i oddelegowany na Mauritius w 1828 r. W 1829 r. Barry ryzykował swoją karierą, wracając bez pozwolenia do Anglii, by leczyć chorego Somerseta. Pozostał tam aż do śmierci lorda w 1831 r., a w zachowanych relacjach nazywał go ...kimś więcej niż ojcem – moim nieomal jedynym przyjacielem.
Następnie Barry został oddelegowany na Jamajkę; tam w 1832 spotkał E. Bradforda, który opisał go jako „wzrostu ledwie pięć stóp, o głosie starej kobiety; starał się zwrócić na siebie uwagę nosząc najdłuższą szablę i największe ostrogi, jakie można było dostać”. W 1836 r. oddelegowano go na wyspę Świętej Heleny. Tam, w wyniku starcia się z innym chirurgiem wojskowym, doszło do aresztowania Barry’ego i postawienia go przed sądem wojennym pod zarzutem „postępowania niezgodnego z charakterem oficera i dżentelmena”. Barry został uznany za niewinnego i honorowo uwolniony.