Raz jeszcze w 1392 r. brał udział w krzyżackiej wyprawie przeciw Litwinom, ale ponownie nie odniosła ona żadnych sukcesów. Henryk udał się następnie na pielgrzymkę do Jerozolimy i powrócił do Anglii latem 1393 r. Następne lata spędził w Anglii nie angażując się zbytnio w politykę i stojąc wiernie po stronie króla. W 1396 r. brał udział w wyprawie Wilhelma Wittelsbacha, hrabiego Oostervant, i Albrechta Wittelsbacha, hrabiego Hainault i Holandii, przeciwko Fryzom. Niektóre źródła wspominają też, że wziął on udział w krucjacie Zygmunta Luksemburskiego przeciwko Turkom i brał udział w bitwie pod Nikopolis, ale te informacje są niewiarygodne. W 1397 r. otrzymał tytuł księcia Hereford. W tym samym czasie wdał się w spór z Thomasem de Mowbrayem, 1. księciem Norfolk.
Hereford i Norfolk wzajemnie oskarżyli się przed królem o zdradę. Kiedy rywale zapragnęli rozstrzygnąć zbrojnie swój spór Ryszard zainterweniował i w 1398 r. skazał obu książąt na wygnanie (Henryka na lat 10, Norfolka dożywotnio). Henryk udał się do Paryża, gdzie nawiązał kontakt z oponentem króla Ryszarda, Thomasem Arundelem, byłym (i jednocześnie przyszłym) arcybiskupem Canterbury. Zapadła decyzja o powrocie do kraju i obaleniu króla Ryszarda.