455 roku Herulowie utworzyli własne państwo na terenie południowych Moraw. Poczęli niepokoić najazdami Noricum i Panonię i podbijać sąsiadów, m.in. Longobardów, Burów i innych, zmuszając ich do składania trybutu. Około 501 roku rozpoczęli kolejne najazdy na sąsiadów, tym razem wraz z Ostrogotami. W początkach VI wieku wdali się w konflikt z Longobardami, którzy zajmowali w tym czasie siedziby w Kotlinie Czeskiej. Longobardowie około 508 roku rozbili ich niemal doszczętnie, zabijając w bitwie herulskiego władcę Rodulfa. Część Herulów osiedliła się wówczas w Dacji i z czasem została wchłonięta przez Longobardów.
Wielu z nich służyło jako najemnicy w armii rzymskiej. Herulem prawdopodobnie był Odoaker, który usunął z tronu ostatniego cesarza Zachodu, Romulusa Augustulusa, i stworzył w Italii królestwo, zniszczone potem najazdem Ostrogotów.
Powrót na północ Jak podaje Prokopiusz z Cezarei, grupa Herulów, po klęsce zadanej przez Longobardów około roku 512, postanowiła powrócić do swoich dawnych stron rodzinnych.