W 1952 rozpoczął naukę w La Salle College, katolickiej szkole im. Jana Chrzciciela de la Salle w Hongkongu, gdzie zajęcia prowadzili chińscy nauczyciele. W wieku 13 lat został pobity przez uliczny gang i od tego czasu, w latach 1957–1958 trenował kung-fu pod kierunkiem sifu Yipa Mana i Wong Shun-leung (1957−1958). Z powodu bójek, w roku szkolnym 1955/1956 został usunięty ze szkoły i naukę kontynuował w szkole jezuickiej dla chłopców im. Franciszka Ksawerego – St. Francis Xavier’s College. Rozpoczął też treningi bokserskie i zdobywał medale na turniejach sportowych. W 1958 został mistrzem Hongkongu w cha-cha.
Kiedy miał 18 lat, wstąpił do gangu ulicznego o nazwie „8 Tygrysów Junction Street” i często popadał w konflikty z policją, więc rodzice zasugerowali mu wyemigrowanie do Stanów Zjednoczonych.
Po przeprowadzce zamieszkał w chińskiej dzielnicy San Francisco, gdzie pracował jako kelner w kawiarni oraz instruktor kung-fu i karate. Następnie wyjechał do Seattle, gdzie w grudniu 1960 ukończył James A. Garfield High School i uczęszczał do Edison Technical School. Później studiował filozofię na University of Washington.