Rumowisko Babiej Góry składa się z ostrokrawędzistych głazów i bloków piaskowca magurskiego. Najczęściej mają one kształt zbliżony do prostokąta lub kwadratu i długość 0,5–1 m. Wielkość skał ma związek z kątem nachylenia stoków; największe bloki znajdują się na stromych stokach północnych i zachodnich. Bloki ułożone są chaotycznie, jeszcze w latach 40. XX wieku nie była znana grubość rumowiska.
Rumowisko to powstało w wyniku wietrzenia, przy czym największą rolę odegrało wietrzenie mechaniczne: zamróz i nasłonecznienie. Woda wnikając w liczne spękania piaskowca po zamarznięciu zwiększała objętość powodując rozsadzania skał. W niższych położeniach górskich i na mniej stromych stokach z powstającego w wyniku wietrzenia drobnego szutru i piasku zwietrzelinowego tworzy się gleba stabilizowana przez rośliny. Z powodu wyższego położenia w partiach szczytowych masywu Babiej Góry mechaniczne czynniki wietrzenia działały silniej, równocześnie brak szaty roślinnej uniemożliwiał zatrzymywanie drobnych produktów wietrzenia, które były zdmuchiwane przez wiatr i wypłukiwane przez wodę. Rumowisko Babiej Góry jest żywe – nadal trwa jego powstawanie i rozprzestrzenianie się.