webAI выпустила TwIL-8B — модель для решения задач с 8,8 млрд параметров, дообученную на базе IBM Granite 4.2 8B. Как сообщает MarkTechPost, она набрала 98,2 балла на MATH-500 и 81,6 — на LiveCodeBench. При этом, по данным издания, в тестах на знания TwIL-8B уступает моделям сопоставимого размера.
Эти результаты указывают на то, что заявленные сильные стороны модели — математические и программистские задачи, а не все виды тестирования. Однако сами по себе цифры не показывают, как TwIL-8B справится с конкретными задачами пользователя и как её результаты соотносятся с результатами отдельных конкурирующих моделей при одинаковых условиях тестирования.
Что показывают результаты
MATH-500 — тест для оценки математических способностей, а LiveCodeBench проверяет навыки программирования. В публикации приведены результаты TwIL-8B по обоим тестам, но не указаны условия тестирования, версии моделей для сравнения и, например, использовались ли инструменты. Не объясняется и шкала оценок, поэтому 98,2 и 81,6 следует воспринимать как опубликованные результаты тестов, а не как проценты или гарантию точности.
Сравнение по знаниям описано менее подробно: не названы тесты и результаты, а модели сопоставимого размера не указаны. Поэтому трудно понять, насколько велико отставание и какие именно вопросы на знания проверялись. Также из доступных сведений неясно, где можно получить доступ к TwIL-8B, открыты ли её веса и сколько она стоит.
Как оценивать модель
В основе TwIL-8B лежит IBM Granite 4.2 8B, после чего модель дополнительно обучили. Выпуск показывает, что webAI представляет модель с высокими заявленными результатами в двух конкретных тестах, одновременно признавая её более слабые показатели в тестах на знания. Однако это не доказывает, что модель в целом лучше систем сопоставимого размера: результаты по математике и программированию не отвечают на отдельный вопрос о знаниях, а подробностей сравнения нет.
Почему это важно
Тем, кто подбирает модель для математических задач или программирования, стоит обратить внимание на опубликованные результаты TwIL-8B, однако они не показывают, как модель справится с конкретными задачами пользователя. Условия тестирования, доступность и стоимость не указаны, поэтому пока нельзя понять, удастся ли воспользоваться моделью и корректно ли сравнивать её с альтернативами.
