Результаты тестирования моделей
Общий результат
Сравните результаты в одной и той же серии тестов LiveBench. В первом столбце указано среднее категорий с равными весами; результаты по каждой категории также приведены отдельно. Это результаты бенчмарка, а не универсальная оценка.
Сортировать по тесту
LiveBench · Версия набора тестов 14 окт. 2026 г.Последняя проверка 49 проверенные вариантыНажмите на заголовок столбца для сортировки.
| # | Модель и настройки | ||||||||
|---|---|---|---|---|---|---|---|---|---|
| 1 | 88,0 | 80,8 | 91,7 | 97,7 | 100,0 | 80,3 | 82,0 | 83,4 | |
| 2 | 86,5 | 85,0 | 92,2 | 96,3 | 80,0 | 80,3 | 85,0 | 86,9 | |
| 3 | 86,1 | 82,4 | 92,7 | 93,7 | 84,0 | 83,0 | 85,2 | 82,0 | |
| 4 | 85,4 | 73,0 | 92,6 | 96,0 | 88,0 | 82,7 | 83,5 | 82,1 | |
| 5 | 84,1 | 69,9 | 95,1 | 89,7 | 92,0 | 85,2 | 83,1 | 73,7 | |
| 6 | 83,6 | 53,2 | 89,7 | 98,3 | 92,0 | 80,5 | 86,9 | 84,7 | |
| 7 | 82,5 | 78,8 | 91,6 | 94,7 | 84,0 | 59,5 | 83,6 | 85,0 | |
| 8 | 82,1 | 62,1 | 91,2 | 90,8 | 84,0 | 74,6 | 88,9 | 83,0 | |
| 9 | 81,9 | 66,9 | 88,7 | 93,1 | 92,0 | 81,2 | 69,3 | 82,2 | |
| 10 | 79,2 | 50,9 | 89,1 | 96,0 | 76,0 | 79,5 | 79,5 | 83,4 | |
| 11 | 78,1 | 53,2 | 90,6 | 86,2 | 72,0 | 81,6 | 88,0 | 75,1 | |
| 12 | 78,0 | 40,1 | 86,7 | 90,2 | 84,0 | 79,3 | 86,8 | 79,2 | |
| 13 | 76,8 | 48,3 | 89,2 | 77,3 | 96,0 | 66,0 | 81,8 | 78,8 | |
| 14 | 76,3 | 48,5 | 91,7 | 89,7 | 88,0 | 79,8 | 54,5 | 81,6 | |
| 15 | 75,6 | 57,6 | 82,4 | 91,4 | 80,0 | 53,1 | 81,9 | 83,1 | |
| 16 | 75,0 | 48,4 | 90,6 | 86,2 | 84,0 | 79,3 | 60,4 | 76,0 | |
| 17 | 74,9 | 40,7 | 91,2 | 89,1 | 64,0 | 75,3 | 84,5 | 79,8 | |
| 18 | 74,9 | 47,5 | 79,6 | 81,5 | 88,0 | 72,3 | 76,7 | 78,5 | |
| 19 | 74,8 | 40,4 | 89,7 | 90,2 | 80,0 | 79,6 | 68,6 | 74,8 | |
| 20 | 74,1 | 50,1 | 82,7 | 84,5 | 60,0 | 76,9 | 86,4 | 78,0 |
Прокрутите таблицу по горизонтали, чтобы увидеть все столбцы с результатами.
Что измеряют столбцы
- Длинные агентные задачи:
- Длительная работа с кодом и приложениями в много шагов
- Рассуждения:
- Логические задачи и решение проблем
- Программирование:
- Написание и дополнение кода
- Работа в браузере:
- Многошаговые задачи в реальных веб-приложениях
- Анализ данных:
- Вопросы о таблицах и данных
- Исследования:
- Открытые исследовательские отчёты
- Дизайн:
- Вёрстка и дизайн документов и слайдов
Тесты и методология
Единственный источник результатов — LiveBench. Столбцы показывают части этого источника, а не независимые бенчмарки. Шкала оригинала — от 0 до 100. Выберите столбец для определения места в рейтинге; тире означает отсутствие данных.
Каждый точный вариант модели учитывается отдельно. Среднее по категории рассчитывается, только если доступны результаты всех заданий в ней; общее среднее — если доступны результаты всех категорий. Задания внутри категории имеют равные веса, как и категории при расчёте общего среднего. Отсутствующие результаты не считаются нулевыми. Места в выбранном столбце определяются по неокруглённым значениям; одинаковые результаты делят место. Поиск сохраняет место в полном тесте. Устаревшие результаты не учитываются при определении места. Разница в отображаемых десятичных знаках не доказывает статистически значимого различия. Здесь представлена одна серия тестов, а не все современные модели и не все виды способностей.
Дата набора тестов указывает на его версию. LiveBench продолжает добавлять модели и обновлять результаты в рамках этой версии; дата проверки показывает, когда мы получили актуальные данные.
LiveBench · Источник ↗Другие тесты и результаты за прошлые периоды →