modelu językowego – testujący możliwości modeli językowych takich jak duże modele językowe. Testy te mają na celu porównanie możliwości różnych modeli w takich obszarach jak rozumienie języka, generowanie i wnioskowanie.

Testy porównawcze zazwyczaj składają się ze zbioru danych i metryk ewaluacyjnych. Zbiór danych zawiera próbki tekstu i adnotacje, natomiast metryki mierzą wydajność modelu w zakresie takich zadań jak odpowiadanie na pytania, klasyfikacja tekstu i tłumaczenie maszynowe.

Charakterystyka mały| Wydajność modeli AI w różnych testach na przestrzeni lat 1998–2024

Kategorie Benchmarki mogą zostać skategoryzowane względem różnych metryk do jednych z poniższych kategorii:

Klasyczny – skupiają się na analizie statystycznej i często powstawały przed spopularyzowaniem mechanizmów uczenia głębokiego. Do przykładów zalicza się bank drzew i BLEU Odpowiadania na pytania – ta kategoria testów posiada pary pytań i odpowiedzi, często wielokrotnego wyboru Rozumowania – sprawdzająca kwestie rozumowania i wiedzy Agencji – sprawdzająca możliwości działania agenta, który może wykonywać takie operacje jak uruchamianie kodu

Ocena Można wyróżnić trzy typy oceny wyników benchmarka: