W 1904 został ponownie wybrany, ale w kolejnych wyborach w 1907 znów stracił mandat.

Polityka federalna Następnie postanowił przenieść się do polityki federalnej i w 1910 został wybrany do Senatu Australii jako członek delegacji Nowej Południowej Walii, startujący z listy wyborczej ALP. W latach 1914–1916 zasiadał w gabinetach premierów Andrew Fishera i Billy’ego Hughesa, gdzie zajmował w dużej mierze ceremonialne stanowisko wiceprzewodniczącego Federalnej Rady Wykonawczej, a od 1915 był dodatkowo wiceministrem obrony. W czasie rozłamu w ALP w 1916 opowiedział się przeciwko premierowi Hughesowi i pozostał w szeregach zepchniętej do opozycji Partii Pracy. W tym samym roku został wybrany na stanowisko zastępcy federalnego lidera tej partii, objął także kierownictwo jej frakcji w Senacie. W 1918 wsławił się swoim trwającym ponad dwanaście i pół godziny bez przerwy przemówieniem w Senacie, które w istocie było formą obstrukcji parlamentarnej. Jego wyczyn był bezpośrednią przyczyną wprowadzenia limitów czasowych dla mówców, w związku z czym rekord Gardinera do dziś pozostaje niepobity. W latach 1920–1922 był jedynym senatorem federalnym należącym do ALP.