Bean opuścił dom z kobietą, która według jednej z wersji legendy była wiedźmą zwaną Czarną Agnes Douglas. Ona także podzielała jego poglądy na pracę. Ostatecznie zamieszkali w jaskini w Bannane Head niedaleko Galloway (obecnie South Ayrshire). Jaskinia sięgała prawie 200 metrów w głąb skały, a podczas przypływu wejście było zalane. Identyfikuje się ją z jaskinią Bannane Cave w Ballantrae w Ayrshire. On i jego rodzina mieli tam mieszkać niezauważeni przez 25 lat.
Kanibalizm w rodzinie Sawneya Początkowo Aleksander i Agnes utrzymywali się z obrabowywania podróżników. Wydawali ich pieniądze, natomiast kosztowności gromadzili, ponieważ mogły być łatwo rozpoznane. Mieli bardzo dużo dzieci, a później także wnuków, które pochodziły ze związków kazirodczych. Tuż przed ich złapaniem rodzina liczyła ośmiu synów, sześć córek, osiemnastu wnuków i czternaście wnuczek. Było to razem 46 potomków.