Оста́нній і́спит лю́дства (, або HLE) — бенчмарк для великих мовних моделей, який складається з 2500 запитань із широкого спектра дисциплін. Його спільно створили Центр безпеки ШІ (Center for AI Safety) та компанія Scale AI.
Створення У річному звіті AI Index за 2025 рік від Інституту людино-орієнтованого штучного інтелекту Стенфордського університету (Stanford HAI) «Останній іспит людства» згадується як один із «більш складних бенчмарків», розроблених у відповідь на те, що популярні ШІ-тести досягли «насичення». Тест описують як ідею Дена Гендрікса, дослідника машинного навчання та директора Центру безпеки ШІ, який заявив, що на створення тесту його надихнула розмова з Ілоном Маском. Маск вважав чинні бенчмарки мовних моделей, як-от MMLU, занадто простими. Гендрікс співпрацював із компанією Scale AI для збору запитань. Запитання збирали за допомогою краудсорсингу від профільних експертів із різних установ по всьому світу.
Спочатку запитання фільтрували за допомогою провідних моделей ШІ: якщо моделі не могли відповісти на запитання або показували результат, гірший за випадкове вгадування у тестах із множинним вибором, ці запитання у два раунди перевіряли експерти-люди й затверджували для включення до набору даних. Автори найкращих запитань отримали грошові винагороди із загального фонду в 500 000 доларів США — по 5000 доларів за кожне з 50 найкращих запитань і по 500 доларів за наступні 500. Після початкового випуску було відкрито «програму пошуку помилок за винагороду від спільноти» для «виявлення та виправлення серйозних помилок у наборі даних».
Склад Бенчмарк містить 2500 запитань у публічно випущеному наборі. Запитання «зазвичай вимагають експертних знань на рівні аспірантури або перевіряють знання у дуже специфічних темах». У науковій статті запитання класифіковано за такими широкими темами: математика (41 %), фізика (9 %), біологія/медицина (11 %), гуманітарні та суспільні науки (9 %), комп'ютерні науки/штучний інтелект (10 %), інженерія (4 %), хімія (7 %) та інші (9 %).
Близько 14 % запитань вимагають здатності розуміти як текст, так і зображення, тобто мультимодального навчання. 24 % запитань мають формат множинного вибору, решта — це запитання з короткими відповідями, які потребують точного збігу. Також підтримується закритий (приватний) набір для тестування моделей на перенавчання на бенчмарку.
Приклад запитання:
Незалежне дослідження організації FutureHouse, опубліковане в липні 2025 року, припустило, що близько 30 % відповідей HLE на виключно текстові запитання з хімії та біології можуть бути неправильними. Команда бенчмарку частково підтвердила ці висновки та заявила, що сподівається впровадити процес безперервного доопрацювання. Згодом команда запустила HLE-Rolling — версію бенчмарку, яка «регулярно оновлюється для врахування відгуків спільноти та інтеграції нових запитань».
Результати + Результати тестування різних моделей на бенчмарку Організація Модель Точність (%) ↑ Помилка калібрування (%) ↓ Google DeepMind Gemini 3.1 Pro Preview 46,44 51 OpenAI GPT-5.4 Pro 44,32 38 Meta Superintelligence Labs Muse Spark 40,56 50 Anthropic Claude Fable 5 64,5 46 Moonshot AI Kimi K2.5 24,37 67 Z.ai GLM 4.5 8,32 79 Mistral AI Mistral Medium 3 4,52 77 Amazon Web Services Nova Pro 4,40 80 Джерело: Scale AI. 10 квітня 2026 року.
+ Результати тестування різних немультимодальних моделей на текстовому піднаборі бенчмарку Організація Модель Точність (%) ↑ Помилка калібрування (%) ↓ OpenAI gpt-oss-120b 15,48 76 Alibaba Cloud Qwen3-235B-A22B-Thinking-2507 15,43 78 DeepSeek DeepSeek-R1-0528 14,04 78 Moonshot AI Kimi-K2-Instruct 4,68 82 Amazon Web Services Nova Micro 4,41 84
Примітки
Посилання Офіційна сторінка Humanity's Last Exam на сайті Center for AI Safety Таблиця лідерів Humanity's Last Exam на сайті Scale AI