W 1899 jego rząd upadł po przegranym głosowaniu w sprawie reformy Rady Ustawodawczej. Wówczas Kingston wycofał się z polityki w Australii Południowej i poświęcił się w całości sprawom przyszłej federacji. Wspólnie z Edmundem Bartonem i Alfredem Deakinem tworzył delegację czołowych australijskich polityków, którzy w 1900 gościli w Londynie, aby osobiście dopilnować udzielenia przez parlament brytyjski zgody na powstanie Związku Australijskiego.
Polityka federalna Kiedy w styczniu 1901 Związek został wreszcie zainaugurowany, Kingston objął tekę ministra handlu i ceł w pierwszym gabinecie federalnym. Był zwolennikiem bardzo daleko posuniętego protekcjonizmu i zasiadał w parlamencie federalnym w ławach Partii Protekcjonistycznej. W 1903 odszedł z rządu w wyniku konfliktu z premierem Bartonem oraz Johnem Forrestem. Do końca życia pozostał członkiem Izby Reprezentantów, jednak odmawiał pełnienia już jakichkolwiek poważniejszych urzędów. Szybko pogarszał się stan jego zdrowia. W maju 1908 doznał wylewu i wkrótce potem zmarł. W 1949 jego imieniem nazwano okręg wyborczy Kingston.