Jako olimpijczyk debiutował w 1994 roku, podczas igrzysk w Lillehammer, już w pierwszym starcie zdobywając brąz w biegu indywidualnym. Wyprzedzili go jedynie Rosjanin Siergiej Tarasow oraz Frank Luck. W sprincie był siódmy, a wraz z Markiem Kirchnerem, Frankiem Luckiem i Ricco Großem zdobył złoto w sztafecie. Na igrzyskach w Nagano w 1998 roku w konkurencjach indywidualnych plasował się poza czołową piętnastką, ale obronił złoto w sztafecie (w drużynie niemieckiej Kirchnera zastąpił Peter Sendel). Z igrzysk olimpijskich w Salt Lake City cztery lata później Fischer przywiózł dwa srebrne medale: w biegu sprinterskim przegrał tylko z Norwegiem Ole Einarem Bjørndalenem, a razem z Großem, Luckiem i Sendelem był drugi w sztafecie. Brał też udział w igrzyskach w Turynie w 2006 roku, gdzie starty zaczął od 17. miejsca w biegu indywidualnym. Trzy dni później zdobył złoto w sprincie, wyprzedzając dwóch Norwegów Halvarda Hanevolda i Frode Andresena. W biegu na dochodzenie nie obronił przewagi nad rywalami i ostatecznie zajął 3. miejsce, przegrywając z Francuzem Vincentem Defrasne i Ole Einarem Bjørndalenem. W składzie sztafety zdobył kolejny tytuł mistrza olimpijskiego, biegnąc na trzeciej zmianie, a partnerowali mu Ricco Groß, Michael Rösch i Michael Greis. W swoim ostatnim starcie olimpijskim zajął 17.