Na początku swoich rządów Stepien chciał zmienić nazwę drużyny na „Ohio Cavaliers”, tak aby mogła rozgrywać swoje mecze w Buffalo, Nowym Jorku i Pittsburgu. Stworzył także piosenkę bojową w rytm polki.
Chaos w drużynie Cavaliers odbijał się w wynikach na boisku. W sezonie 1980/1981 (pierwszym Stepiena jako właściciela) drużyna uzyskała wynik 28–54, natomiast rok później wynik wynosił już 15–67. W sezonie 1981/1982 drużyna przegrała 19 ostatnich meczów w sezonie, a na starcie nowego przegrała 5 pierwszych spotkań co jest najdłuższą serią przegranych spotkań z rzędu w historii NBA. Chociaż drużyna poprawiła swoje wyniki (23-59) na mecze do hali która mogła pomieścić więcej niż 20 000 przychodziło tylko 3900 kibiców. Stepien zagroził, że przeniesie drużynę do Toronto i zmieni jej nazwę na „Toronto Towers”, lecz bracia George i Gordon Gund odkupili drużynę i zdecydowali pozostawić drużynę w Cleveland (w 1993 Toronto będzie miało drużynę, która będzie się nazywać Toronto Raptors.) Dwa lata później Gundowie zmienili kolory koszulek z czerwonych i złotych na pomarańczowo-czerwono-niebieskie.