Gdy zdecydował się na przyjęcie święceń kapłańskich, musiał udać do Meksyku, gdyż w tym okresie na Filipinach nie było biskupa. Wsiadł na statek 12 lipca 1596. Z powodu sztormu statek dobił jednak do wybrzeży Japonii. Gubernator prowincji po skonfiskowaniu statku, uwięził jego załogę i pasażerów. W grupie było dwóch franciszkanów − Filip od Jezusa i Jan de Zamorra − oraz dwóch augustianów i jeden dominikanin. Gdy Japończycy znaleźli na statku działo i amunicję, zaczęli podejrzewać, iż planowano podbój wyspy. Zakonnicy mieli przygotowywać drogę dla wojska. Oskarżenie to wypowiedziane zostało przez jednego z członków załogi i sprowokowało regenta Hideyoshi Toyotomi do zatrzymania franciszkanów w klasztorze w Miako (obecne Kioto). Zakonnicy pozostawali w klasztorze do 30 grudnia, następnie osadzono ich w miejskim więzieniu. Zatrzymani dołączyli do przebywających już tam innych chrześcijan. W sumie w więzieniu w Kioto przebywało sześciu franciszkanów, siedemnastu tercjarzy franciszkańskich oraz japoński jezuita Paweł Miki ze swymi dwoma świeckimi współpracownikami. Po kilku dniach 3 stycznia 1597 obcięto uwięzionym końcówki uszu, następnie urządzono marsz pokazowy ulicami Kioto, 21 stycznia Osaki, 5 lutego grupa dotarła do Nagasaki.