2010–2011: Przebudowa W czasie przerwy między rozgrywkami w 2010 r. Cavaliers zwolnili trenera Mike’a Browna, razem z większością sztabu szkoleniowego. Menedżer Danny Ferry zrezygnował 4 czerwca 2010. Jego asystent Chris Grant awansował na jego miejsce. 1 lipca Cavaliers zatrudnili byłego rozgrywającego Los Angeles Lakers czy New Jersey Nets – Byrona Scotta, który w przeszłości trenował New Orleans Hornets. Był to 18. trener w historii Cleveland Cavaliers.
Cavaliers spędzili resztę przerwy na odbudowywanie drużyny po odejściu Jamesa. 23 lipca podpisali kontrakt z ich 29. wyborem 2009 NBA Draft Christianem Eyenga. 26 lipca wymienili Delonte Westa i Sebastiana Telfaira do Minnesota Timberwolves za Ramona Sessionsa, Ryana Hollinsa oraz wybór w drugiej rundzie 2013 NBA Draft. 30 lipca zatrudnili Joeya Grahama, na rok za minimalną płacę dla weterana z opcją przedłużenia na rozgrywki 2011/2012. 16 sierpnia Cavs zatrudnili niewybranego w 2010 NBA Draft, pierwszoroczniaka z Jamajki Samardo Samuelsa na 3 lata, kontraktem na 2,3 miliona dolarów. 20 września Jawad Williams oraz Cavs zdecydowali o podpisaniu nowej umowy na rok za 1,02 miliona dolarów.