W następnym sezonie notował słabsze wyniki, między innymi 50. miejsce na mistrzostwach świata w lotach w Tauplitz w 1996. W sezonie 1996/1997 zajął 11. miejsce w klasyfikacji generalnej PŚ w skokach, a w Pucharze Świata w lotach ponownie był czwarty. Wziął też udział w mistrzostwach świata w Trondheim, gdzie zajął indywidualnie 37. miejsce i piąte miejsce w konkursie drużynowym. Wynikiem 212 metrów Ottesen ustanowił nieoficjalny rekord świata w długości skoku narciarskiego podczas zawodów w Planicy (22 marca 1997). Rok później był dziesiąty w konkursie indywidualnym na dużej skoczni podczas igrzysk olimpijskich w Nagano. Na tych samych igrzyskach wspólnie z Henningiem Stensrudem, Roarem Ljøkelsøyem i Kristianem Brendenem zajął czwarte miejsce w konkursie drużynowym. W 1998 był też piąty na mistrzostwach świata w lotach w Oberstdorfie.
Na mistrzostwach świata w Ramsau w 1999 wystartował tylko w konkursach indywidualnych, jednak zajął odległe miejsca. Ostatnią dużą imprezą w jego karierze były mistrzostwa świata w lotach w Vikersund w 2000, gdzie był dziewiąty. 3 marca 2000 wywalczył swoje ostatnie podium, zajmując trzecie miejsce w Lahti. Ostatni raz pojawił się w międzynarodowych zawodach 11 sierpnia 2001 w Hinterzarten podczas zawodów Letniego Grand Prix, gdzie zajął 50.