Podczas gdy plotki o niekonwencjonalnym stylu życia braci rozprzestrzeniły się w Harlemie, ciekawscy zaczęli gromadzić się pod ich kamienicą. Po tym, jak nastolatkowie obrzucali kamieniami okna, bracia ostatecznie odgrodzili się od świata i na trwałe zamknęli drzwiThe Milwaukee Journal, Rich, Educated Recluse on Fabulous Fifth A.. Po okolicy rozniosła się legenda miejska, że dom braci zawierał cenne przedmioty i duże sumy pieniędzy. Kilka osób usiłowało włamać się do domu. Próbując zapobiegać takim incydentom Langley wykorzystał swoje umiejętności inżynieryjne do budowy pułapek i tuneli wśród stert przedmiotów i śmieci, które wypełniły domPitsburgh Post Gazette, Police Await Hermit’s Returm Following Death of Brothers. Kamienica stała się z czasem labiryntem pudeł i skomplikowanych systemów tunelowych. Homer i Langley Collyer żyli w swoistych gniazdach stworzonych pośród śmieci pod sufitem.