Aby zachęcić funkcję wagi do wybierania każdego eksperta z równą częstotliwością i zrównoważyć obciążenie, każda warstwa MoE może mieć dodatkową pomocniczą funkcje celu w architekturze Switch Transformer.
Jeżeli jest liczbą ekspertów, to dla danej serii zapytań pomocnicza funkcja celu dla tej serii wynosi: jest częścią zapytań, które wybrały eksperta , a jest częścią wagi dla eksperta . Funkcja celu jest minimalizowana przy czyli, gdy każdy ekspert ma taką samą wagę w każdej sytuacji. mały|Architektura DeepSeek V2 MoE. Pokazana jest również ukryta uwaga wieloczłonowa Naukowcy z DeepSeek zaprojektowali wariant MoE z ekspertami współdzielonymi, którzy są zawsze odpytywani i ekspertów rutowanych, którzy są pytani pod pewnymi warunkami. Zauważyli oni, że standardowe równoważenie obciążenia do równego rozłożenia obciążenia ale również do replikowania tych samych umiejętności np. wyuczenie gramatyki języka angielskiego. Zaproponowali oni podejście, aby współdzieleni eksperci zostali wyuczeni wspólnych możliwości, które są często używane, a mniej używane zostały wyuczone przez ekspertów rutowanych.