Z wielkimi oczekiwaniami przygotowywał się na start w Tour de France, jednak kolejne dwa wypadki wykluczyły go z tegorocznego startu w tej imprezie.
Wszystkie nadzieje leżały teraz w drugiej połowie sezonu '95 i Olano nie rozczarował swoich fanów. Zajął wysokie, 2. miejsce na Vuelta a España tuż za Laurentem Jalabertem, wygrywając wszystkie 3 czasówki w tym wyścigu. Ukoronowaniem tego sezonu było zwycięstwo w wyścigu ze startu wspólnego i srebro w indywidualnej jeździe na czas na mistrzostwach świata w Duitamie.
Z powodu swojego słabego punktu, jakim były długie i ciężkie podjazdy, stracił różową koszulkę lidera Giro d’Italia 1996 na dzień przed zakończeniem wyścigu i wylądował ostatecznie na 3. miejscu w klasyfikacji generalnej. Góra Mortirolo okazała się zbyt stroma dla Hiszpana. Na Tour de France stracił na Col d'Aubisque ponad 8 minut, mimo że przed tym etapem miał, wydawać by się mogło, zapewnione drugie miejsce. W tym samym roku wystartował na igrzyskach olimpijskich w Atlancie, gdzie zdobył srebro w indywidualnej jeździe na czas, przegrywając tylko z Induráinem. W 1997 Olano podpisał umowę z drużyną Banesto, gdzie miał pójść w ślady Miguela Induráina. Jego możliwości zostały jednak przecenione. Był wprawdzie, podobnie jak Indurain, świetnym czasowcem, jednak jego potencjał w górach był ograniczony.