Był to niesmaczny żart, dotyczył dwóch braci o nazwisku Wong oraz deputowanego z ramienia Partii Liberalnej - White’a. Od tej pory było to interpretowane jako krytyka azjatyckiej imigracji.

W kierownictwie ALP Calwell opuścił stanowisko w 1949 po porażce wyborczej swojej partii. Wygrała wtedy Partia Liberalna z Robertem Menziesem. W 1951 został zastępcą nowego lidera laburzystów dr H. V. Evatta (jego poprzednik- Chifley zmarł); ci dwaj przywódcy nie przepadali za sobą co przekładało się na funkcjonowanie partii. W 1960 został liderem ALP na szczeblu federalnym.

Calwell chciał wzmocnić swoją pozycję poprzez gwałtowny i bardzo silny sprzeciw wobec udziału Australii w wojnie wietnamskiej, jednakże nie udało mu się tym samym poprawić sytuacji swojej partii, gdyż wojna ta była popierana przez społeczeństwo. Dlatego też w 1966 liberałowie odnieśli miażdżące zwycięstwo w wyborach powszechnych. W jego efekcie Calwell zrezygnował z piastowania funkcji lidera partii, na rzecz Withlama.