Wkrótce wstąpił na służbę Wei Ao, który sprawował kontrolę nad doliną rzeki Wei, i uczynił Ma Yuana swoim generałem (將軍, jiangjun).
W 26 Wei Ao wysłał go do Gongsun Shu, który przyjął cesarski tytuł w Chengdu. Chociaż Gongsun Shu był jego dawnym przyjacielem, to zrażony formalnym przyjęciem Ma Yuan odradził Wei Ao zawieranie z nim sojuszu. W 28 udał się z misją do Guangwu, z którym dla odmiany szybko znalazł wspólny język. To podczas ówczesnego pobytu w Luoyangu Guangwu miał zażartować, iż Ma Yuan odwiedził już dwóch cesarzy, jego i Gongsun Shu, na co ten miał wypowiedzieć słynne słowa: „W dzisiejszych czasach nie tylko władcy wybierają sobie poddanych. Poddani także wybierają sobie władców”. Ma Yuan pozostał w stolicy Guangwu aż do następnego roku i wydaje się, że faktycznie już wtedy przeszedł na jego stronę, chociaż na razie ukrywał to przed Wei Ao. Kiedy w 30 wybuchł otwarty konflikt pomiędzy Wei Ao a Guangwu, Ma Yuan już oficjalnie znalazł się w obozie tego ostatniego i przekonywał stronników swojego dawnego pana do przejścia na stronę nowego cesarza. Wskazał armii Guangwu wrażliwe punkty pozycji przeciwnika i narysował mapę regionu, z zaznaczonymi polami ryżowymi i najlepszymi szlakami ataku.