Automatyczna ocena, np. F1, dokładne dopasowanie, perpleksja Ocena przez człowieka, pozwalająca na jakościową ewaluację odpowiedzi Model jako osoba oceniająca będący opcją alternatywną wobec oceny przez człowieka
Krytyka Jedna z najczęściej pojawiających krytyk odnośnie benchmarków jest dopasowanie modeli do danych testowych. Aplikowane jest również w tym kontekście prawo Goodharta. Oprócz tego zbiór pytań i odpowiedzi może posiadać błędy lub posiadać ambiwalentne odpowiedzi, gdzie ludzie nie byliby w stanie dać 100% odpowiedzi.
Podkreślany jest również fakt wyrywkowego podejścia do wybieranych benchmarków przez twórców modeli.
Przykłady SQuAD Benchmark SQuAD w wersji 1.1 składa się z 100 tys. pytań stworzonych na bazie ponad 500 artykułów z Wikipedii. Każde zadanie składa się z podania artykułu i pytania, a odpowiedzią jest konkretne zdanie z odpowiedzią. Wersja 2.0 zawiera 50 tys. pytań bez odpowiedzi, gdzie na każde pytanie należy odpowiedzieć spacją.
GPQA GPQA (ang. ) składa się 448 pytań na poziomie doktoratu wielokrotnego wyboru napisanych przez ekspertów w dziedzinie biologii, fizyki i chemii. Podzbiór „” zawiera 198 najtrudniejszych pytań. OpenAI ustaliło, że eksperci osiągają średni wynik 69,7% w tym podzbiorze.