W sezonach 1991/1992 i 1992/1993 ani razu nie stanął na podium. Najbliżej tego celu był 4 stycznia 1992 roku w Schonach, gdzie zajął czwarte miejsce. W klasyfikacji generalnej Pucharu Świata zajął odpowiednio 14. i 23. miejsce. Wystąpił w tym czasie na jednej dużej imprezie - igrzyskach olimpijskich w Albertville w 1992 roku. Nie osiągnął tam jednak sukcesów, indywidualnie zajmując 26. miejsce (po skokach był dopiero 36.), a wraz z kolegami w sztafecie zdołał zająć dziesiątą pozycję. Nie wziął udziału w mistrzostwach świata w Falun w 1993 roku.
Na podium zawodów Pucharu Świata wrócił dopiero w ostatnich zawodach sezonu 1993/1994, 19 marca 1994 roku w Thunder Bay, gdzie zwyciężył w Gundersenie. Punktował także we wszystkich poprzednich startach, choć w dziesiątce znalazł się jeszcze tylko dwa razy. Wystarczyło to jednak do zajęcia ósmej pozycji w klasyfikacji generalnej. W lutym 1994 roku Kempf wystąpił na igrzyskach olimpijskich w Lillehammer. W zawodach indywidualnych awansował z dziewiątego miejsca po skokach na szóste na mecie biegu. Ponadto Szwajcarzy w składzie: Jean-Yves Cuendet, Andreas Schaad i Hippolyt Kempf zdobyli brązowy medal w sztafecie. Na trzecim miejscu znaleźli się już po skokach. Do biegu przystąpili ze stratą 7:30 minuty do prowadzących Japończyków oraz blisko 2:30 minuty do drugich Norwegów.