Humanity's Last Exam Jako przykład benchmarku w kategorii rozumowania można wyróżnić . Posiada on 3000 multimodalnych pytań z ponad stu przedmiotów akademickich, z nieudostępnionym zbiorem odpowiedzi, aby zapobiec zanieczyszczeniu. 10% pytań wymaga zrozumienia zarówno tekstu, jak i obrazu, reszta opiera się wyłącznie na tekście. 80% pytań jest punktowanych poprzez dokładne dopasowanie ciągu znaków, reszta to pytania wielokrotnego wyboru.
Przypisy
Kategoria:Oprogramowanie testujące wydajność Kategoria:Porównania oprogramowania Kategoria:Przetwarzanie języka naturalnego