Yip Man pochodził z bogatej rodziny i w swoich początkowych latach nie musiał się zbytnio martwić o swój byt, niemniej po nauce w St. Stephen’s College w Hongkongu, szkole dla dzieci z bogatych chińskich rodzin, powrócił do Foshan, gdzie przez nieokreślony czas był oficerem policji. Sytuacja zmieniła się w czasie okupacji japońskiej. Kiedy odmówił Japończykom nauczania stylu Wing Chun, musiał się przed nimi schronić. Po kapitulacji wrócił do rodzinnego miasta i po raz kolejny został oficerem policji. Pod koniec roku 1949, będąc policjantem Kuomintangu, wyemigrował do Makau, a następnie do Hongkongu, zostawiając część rodziny w Foshanie (jego synowie wyemigrowali do Hongkongu znacznie później, dlatego niewiele zdążyli się od ojca nauczyć). Jako przedstawiciel dawnych warstw uprzywilejowanych, a dodatkowo funkcjonariusz policji poprzedniego systemu słusznie obawiał się prześladowania ze strony nowej władzy komunistycznej.