Potem wsadzili do dorożki i wywieźli za miasto chcąc go okraść. Gdy Wilczur otworzył oczy i zobaczył, co się dzieje, przerażeni bandyci uderzyli go mocno w głowę i wyrzucili z dorożki do glinianki, gdzie Wilczura znalazł chłop i podwiózł kawałek furmanką. Szybko go z niej wyrzucił, gdy zapytany o nazwisko Rafał nie umiał mu udzielić odpowiedzi – na skutek ciosu profesor stracił bowiem pamięć.

Od tego czasu nie wiedząc kim jest Wilczur włóczył się po całej Polsce próbując znaleźć swoje miejsce na świecie. Jego wędrówka trwała dwanaście lat. Dwa razy siedział w więzieniu za włóczęgostwo. Odwiedził potem Kalwarię i Jasną Górę oraz wiele innych miejsc. W swojej wędrówce trafił na Kresy Wschodnie. Potem jeszcze pracował w tartaku – miejscowi przezwali go tam Józef Broda. Ponownie pochwycony za włóczęgostwo Rafał zrozumiał wreszcie, jak ważnym brakiem jest dla niego nieposiadanie dokumentów. Potajemnie ukradł więc z kancelarii papiery na nazwisko Antoni Kosiba. Gdy już opuścił więzienie, ruszył dalej w podróż pod tym nazwiskiem. Trafił do Wickun, gdzie pracował w kuźni u kowala z jednym okiem. Gdy praca się skończyła, skorzystał z nadarzającej się okazji i poszedł do miasteczka Radoliszki, gdzie trafił do młyna Prokopa Mielnika. Prokopowi zabrano parobka do wojska, więc Wilczur uznał to za świetną dla siebie okazję.