Modele te próbowały wykonać kroki logiczne podobne do operacji matematycznych po trenowaniu modelu równaniami matematycznymi.
V2 mały|Schemat mieszanki ekspertów i ukrytej uwagi wieloczłonowej w DeepSeek V2 Prace nad mechanizmem uwagi doprowadziły do opracowania własnej wersji tej techniki o nazwie Multihead Latent Attention (MLA), która pozwala na uzyskanie ok. 10% zmniejszenia wielkości modelu w połączeniu w modelem mieszkanki ekspertów. Koszt inferencji modelu wyniósł jedną siódmą kosztu GPT-4.
V3 mały|Schemat działania modelu MTP Wersja V3 modelu została oparta na V2 i stosuje technikę zwaną multi-token prediction training. Podczas treningu zastosowano również zmienną precyzję zmiennoprzecinkową aby zmniejszyć czas treningu. Trenowanie zajęło 2788 godzin na procesorach NVidia H800, z późniejszym dostrajaniem i uczeniem przez wzmacnianie. V3 składa się z 671 mld parametrów. Porównania z modelami Llama i GPT-4 pokazywały przewagę V3 nad pozostałymi modelami.
R1