Pod koniec 1906 Benga został zwolniony i oddany pod opiekę Gordona.
Gordon umieścił Bengę w nadzorowanym przez siebie Howard Colored Orphan Asylum, sponsorowanym przez kościół sierocińcu na Brooklynie. Benga miał wówczas około 20 lat i był o wiele starszy od pozostałych 265 osób mieszkających w sierocińcu. Otrzymał własny pokój. Ponieważ prasa nadal interesowała się mężczyzną, Gordon zaaranżował przeniesienie Bengi do Lynchburga w Wirginii. W końcu 1906 Gregory W. Hayes, prezes Virginia Theological Seminary and College w Lynchburgu (dziś Virginia University of Lynchburg), który brał udział w proteście przeciwko wystawianiu Bengi w zoo, zabrał Bengę. W ciągu kilku tygodni Hayes zmarł z powodu niewydolności nerek. Wdowa po nim, matka pięciorga dzieci, została tymczasową przewodniczącą kolegium sierocińca, ale Benga wrócił do placówki w Nowym Jorku. Kiedy dyrekcja sierocińca zakupiła farmę na Long Island, przeniesiono tam około 30 dorastających chłopców, w tym Bengę. W styczniu 1910 Benga wrócił do domu Hayesów w Lynchburgu. Aby został zaakceptowany przez lokalną społeczność, Gordon zadbał o to, by nałożyć na zęby Bengi nakładki, kupił mu też ubrania w amerykańskim stylu. Poetka z Lynchburga, Anne Spencer, wykładowczyni w Virginia Theological Seminary and College, dawała mu korepetycje z angielskiego.