Zjednawszy sobie Kościół, Swerker II nie uchronił się jednak przed atakiem swych świeckich przeciwników. W 1205 miała miejsca pierwsza z bitew, (pod Älgarås), jakie Swerker miał stoczyć ze zwolennikami rodu Erykidów, którym przewodził teraz syn Knuta – Eryk. Swerker pobił Erykidów pod Älgarås, ale już w 1208 został pokonany w decydującej bitwie pod Leną, gdzie zginął m.in. królewski zięć Knut Birgersson. Po przegranej Swerker II utracił władzę w Szwecji i mimo pomocy wojsk duńskich prowadzonych przez króla Waldemara I drugi raz w życiu musiał uchodzić do duńskiej Skanii. Swerker nie pogodził się z porażką i w 1210 roku powrócił do Szwecji, gdzie jednak 17 lipca poległ w bitwie pod Gestilren. Uważa się, że ostatnia bitwa króla Swerkera II miała miejsce na terenie zachodniego Götalandu (Västergötland), choć są głosy historyków przyjmujących, że było na obszarze Upplandu.