Golden State Warriors Po sezonie 2003/04 Fisher został wolnym agentem. 16 lipca 2004 r. podpisał kontrakt z Golden State Warriors, którzy zaoferowali mu 37 milionów dolarów za 6 lat gry. W pierwszym sezonie Fisher wystartował w 32 meczach, zdobywał też średnio 11,9 punktów i 4,1 asysty na mecz. W kolejnych rozgrywkach wystąpił we wszystkich spotkaniach Warriors, jednak w większości z nich wchodził z ławki, zmieniając nowo przybyłego Barona Davisa.
Utah Jazz 12 lipca 2006, w ramach wymiany, przeszedł do Utah Jazz w zamian za Keitha McLeoda, Andre Owensa i Devina Browna. Zagrał we wszystkich 82 meczach sezonu 2006/07, zdobywając średnio 10,1 punktów i 3,3 asysty.
W listopadzie 2006 Fisher został wybrany na prezesa NBA Players Association (Związku Zawodników NBA), zastępując Antonio Davisa. Wcześniej był wiceprezesem NBAPA.
Na kilka dni przed półfinałami Konferencji Zachodniej 2007 pomiędzy Jazz i Warriors, Fisher ogłosił, że jedno z czworga jego dzieci jest chore, unikając dążenia do dalszych szczegółów. Powiedział, że musi być z rodziną i jego występ jest niepewny. Dopiero w wywiadzie po meczu nr 2 Fisher powiedział, że chora jest jego 11-miesięczna córka, Tatum.