Ponieważ została ona najechana przez sułtana z Aczin, Ksawery nakłonił mieszkańców do przeprowadzenia ataku odwetowego. Wkrótce potem postanowił opuścić Moluki i powrócić do Goa. Ku jego zawodowi, okazało się, że praca misyjna na półwyspie nie była kontynuowana, a na Sri Lance w ogóle nie została podjęta. Franciszek pokładał nadzieje w wicekrólu João de Castro, lecz ten zmarł w połowie 1548 roku. Pisał wówczas listy do króla Jana III, by przysłał mu więcej misjonarzy.
Po poznaniu Anjirō – Japończyka, pragnącego przyjąć chrześcijaństwo (przyjął imię Paweł) – Franciszek postanowił wyruszyć na misję do Kraju Kwitnącej Wiśni. Dotarł do Kagoshimy 15 sierpnia 1549 roku. Spotkał tam jednego z najważniejszych daimyō Takahisę Shimazu, który chętnie zezwolił na szerzenie chrześcijaństwa. W listopadzie napisał swój najdłuższy list, opisujący pierwsze wrażenia o Japonii. Wkrótce potem zdał sobie sprawę, że Japończycy pozostają pod ogromnym wpływem kulturowym Chin. Jesienią zaczął pracować, wraz z Anjirō nad przetłumaczeniem modlitw na japoński, jednak zostało to zrobione nieudolnie i powodowało szyderstwa. Mnisi buddyjscy odnosili się do niego serdecznie, ale skrycie mieli wrogą postawę do obcej religii. Wkrótce nakłonili oni Takahisę do nałożenia na Franciszka zakazu ewangelizacji, wobec czego wyruszył on do Mijako.