Google Research выпустила Harness2 — фреймворк с открытым исходным кодом, который меняет обвязку ИИ-агента во время тестирования. Обвязка — это вспомогательная среда, которая помогает модели выполнять задачу. В исходном материале не уточняется, какие именно компоненты Harness2 изменяет и каким образом.
По данным MarkTechPost, после одного шага доработки результат GLM-5 на WorkBuddy-Bench вырос на 11,5 пункта — при этом веса модели не обновлялись. Это позволяет предположить, что улучшение связано с изменением конфигурации агента, а не с дообучением самой модели. В статье не указаны исходный результат, параметры тестирования и команда, проводившая бенчмарк, поэтому на основании приведённых сведений независимо оценить результат нельзя.
Что релиз означает для разработчиков
Harness2 выпущена по лицензии Apache-2.0. Она разрешает разработчикам использовать, изменять и распространять программное обеспечение на её условиях. Благодаря этому исследовательские группы и другие разработчики могут изучить сам фреймворк, а не полагаться лишь на его описание.
В анонсе приведены данные только об одной модели, одном бенчмарке и одном шаге доработки. Не сообщается, сохраняется ли улучшение на других моделях и задачах, какие вычислительные ресурсы нужны методу и готов ли фреймворк к повседневному использованию. Без этих сведений разработчикам трудно понять, улучшит ли Harness2 работу их собственных агентов.
Почему это важно
Разработчики ИИ могут изучать и адаптировать Harness2 по лицензии Apache-2.0. Приведённый результат говорит о том, что конфигурация агента может влиять на показатели бенчмарка даже без дообучения модели. Однако в источнике нет подробностей тестирования и данных о том, повторяется ли улучшение на других моделях и задачах, поэтому практическая ценность Harness2 пока неясна.
