Na przełomie 1904 i 1905 r. lord Milner był pochłonięty wdrażaniem w Transwalu systemu rządów reprezentacyjnych, stanowiących pośrednią formę między królewską administracją kolonii a samorządem. 31 marca 1905 r. zostały wydane odpowiednie zarządzenia odnośnie do rządów reprezentacyjnych. Tymczasem pogorszył się stan zdrowia lorda Milnera i wicehrabia zdecydował się odejść na emeryturę. Natychmiast po wydaniu wspomnianych zarządzeń zrezygnował ze wszystkich pełnionych funkcji i 2 kwietnia opuścił Pretorię i następnego dnia odpłynął do Europy. Pozostawiał Afrykę Południową w stanie ekonomicznego kryzysu, z licznie podnoszonymi głosami sprzeciwu wobec jego bezwzględnej polityki. Minister kolonii Alfred Lyttelton stwierdził jednak, że działalność Milnera w Afryce stworzyła podstawy do zjednoczenia brytyjskich kolonii w Unię Południowoafrykańską. Po powrocie do kraju Uniwersytet w Oksfordzie nadał mu tytuł honorowego doktora prawa cywilnego.
Doświadczenia w Afryce Południowej skłoniły Milnera do wysunięcia postulatów ściślejszego związania kolonii z Koroną brytyjską. Na konferencji w Londynie w 1907 r.