Po opuszczeniu Wyspy przez Rzymian nastąpił okres inwazji anglosaskiej. Anglosasi sprawowali kontrolę nad obszarem obecnej Anglii do roku 600 n.e., choć Somerset był wciąż brytyjski. Brytom udało się powstrzymać na jakiś czas ekspansję anglosaską na południowy zachód. Dopiero król Wessexu Ine przesunął granicę królestwa wschodniosaksońskiego na zachód, obejmując i Somerset. Pałac królewski w Cheddar był używany kilkakrotnie dla potrzeb Witenagemotu. Po inwazji Normanów na Anglię w 1066 r. obszar hrabstwa podzielono na 700 lenn, jednak duża część terytorium hrabstwa była własnością Korony, łącznie z fortyfikacjami Dunster.
Przez następne wieki hrabstwo było regionem typowo rolniczym i dobrze prosperowało. Rozwinął się tu również przemysł, zwłaszcza wełniany i był największy w Anglii tamtego okresu. Kwitło również prymitywne górnictwo węglowe. Jednak, podobnie jak pozostałe części Wyspy, zostało silnie dotknięte przez czarną śmierć w 1348 r., która w tym regionie spowodowała blisko 50-procentową śmiertelność. W tym okresie w hrabstwie powstało kilka miast;