Pod koniec tamtego sezonu wraz z Brianem Grantem i Lamarem Odomem został wymieniony za Shaquille O’Neal'a do Los Angeles Lakers.
W Los Angeles grał przez jeden rok. Zdobywał wtedy 15,5 punktu oraz 5,8 zbiórki na mecz. Po sezonie 2004/05 razem z Chucky Atkinsem został wymieniony za Kwame Browna oraz Larona Profita do Washington Wizards. Stał się częścią waszyngtońskiej "Big 3" (Wielkiej trójki), wcześniej złożonej z Gilberta Arenasa, Antawna Jamisona oraz Larry'ego Hughesa, którego zastąpił. Został tam nazwany przez trenera Ediego Jordana "Tough Juice" za swoją agresywną grę.
17 stycznia 2007 Butler trafił swojego pierwszego game-winnera w meczu przeciwko New York Knicks, zdobywając 2 punkty po wsadzie po podaniu DeShawna Stevensona 2,2 sekundy przed końcem spotkania, ustalając wynik na 99-98. Został nazwany Graczem Tygodnia Konferencji Wschodniej w dniach 15-21 stycznia 2006.
Jego najlepszym sezonem w NBA był sezon 2006/07, kiedy to zdobywał 19,1 punktu, 7,4 zbiórki i 3,7 asysty na mecz. Został też wybrany do rezerwy Konferencji Wschodniej w NBA All-Star Game w 2007 r. Był to jego pierwszy występ w Meczu Gwiazd.
Podczas meczu przeciwko Milwaukee Bucks pod koniec sezonu 2006/07 Butler złamał rękę.