Mimo tego, Marshall, jako zagorzały rasista, dalej nie chciał przyjąć czarnoskórego gracza, więc pozostawił decyzję menedżerowi i trenerowi. Bill McPeak wybrał Davisa. Jednak Ernie Davis odmówił gry dla Redskins i zażądał transferu do innej drużyny. Umowa z Cleveland Browns została opracowana przez trenera Browns, Paula Browna, bez wiedzy i zgody właściciela Art Modell. Była to standardowa procedura postępowania w Cleveland Browns od ich powstania w 1946. Brown pełnił funkcje menedżera zespołu i cieszył się wolną ręką w sprawach związanych z futbolem. Kiedy umowa z Davisem nie doszła do skutku, Redskins powołał w jego miejsce dwóch zawodników z Cleveland Browns, byli nimi Bobby Mitchell i Leroy Jackson. Davis postanowił udać się do Cleveland Browns, gdzie mieszkał i trenował ze swoim kolegą z klasy, John Brown, a Jim Brown, którego podziwiał, również grał w tym zespole.
Davis podpisał trzyletni kontrakt w wysokości 200 000 USD z Cleveland Browns pod koniec grudnia 1961 w San Francisco. Był to najbardziej lukratywny kontrakt dla początkującego zawodnika w historii NFL.