W 1955 r., poślubił znana aktorkę Debbie Reynolds. Wystąpił z nią wspólnie w musicalu Bundle of Joy z 1956 r. W kilka lat później wielkim skandalem stał się romans Fishera z aktorką Elizabeth Taylor, dla której ostatecznie zostawił żonę. Sama Elizabeth Taylor była wtedy w żałobie po swoim zmarłym tragicznie mężu, a zarazem przyjacielu Fishera – Mike’u Toddzie, producencie filmowym i teatralnym. Razem z Taylor wystąpił w dramacie Butterfield 8 w reżyserii Daniela Manna z 1960 r. Małżeństwem byli w latach 1959–1964. Ostatecznie Taylor zostawiła go dla Richarda Burtona..
Po skandalach z rozwodem z Reynolds i Taylor, Fisher stracił na popularności. W 1960 r., RCA Victor zerwało z nim kontrakt. Nie przedłużono z nim również kontraktu telewizyjnego.
W 1965 r. nagrał album Eddie Fisher Today, uznawany za o wiele dojrzalszy od poprzednich płyt w dorobku artysty, ale zarazem cieszący się dużo mniejszym zainteresowaniem. W 1983 r. odbył tournée, ale nie powiodło się ono, przyciągając mniej słuchaczy niż artysta planował. W 1995 dokonał ostatnich, nigdy niewydanych nagrań wraz z London Philharmonic Orchestra.