Samaya AI сообщает, что её модель Sterling для финансовых исследований набрала 58,9% в собственном тесте компании FrontierFinance, опередив Claude Fable 5.1 с результатом 55,9%. По данным Samaya, один вопрос для Sterling обходится в $0.61, а для Claude — в $6.89, то есть примерно в 11 раз дороже.
Это результаты тестирования, проведённого самой Samaya, а не независимое сравнение. FrontierFinance проверяет навыки, необходимые на разных этапах инвестиционного процесса, в том числе умение собирать финансовые данные и подкреплять письменные ответы ссылками на источники. Samaya утверждает, что тестовые вопросы не использовались при обучении, однако тест разработала и оценивала сама компания.
Как обучали Sterling
В основе Sterling лежит Nemotron 3.5 Lightning от NVIDIA — модель с 30 миллиардами параметров, из которых одновременно задействуются 3 миллиарда. По словам Samaya, исходная модель показала точность 42,5% в FrontierFinance, а после четырёх этапов обучения результат вырос до 58,9%.
Обучение включало два этапа с учителем и два этапа обучения с подкреплением — метода, при котором оценки помогают направлять последующие попытки. Модель научилась пользоваться инструментами для финансовых исследований, выбирать разные подходы к анализу, собирать доказательства и готовить отчёты со ссылками на источники. Samaya сообщает, что обучала её на примерах от восьми разных моделей-преподавателей, а также на вопросах, составленных и оценённых специалистами в сфере финансов.
Условия проведения исследования тоже влияют на результат: Sterling использует специально подобранный набор финансовых инструментов, а вспомогательные модели сокращают длинные ответы инструментов и историю исследований. По словам Samaya, благодаря такой системе компактная модель может проводить исследование, выполняя множество обращений к инструментам. Поэтому опубликованные результаты характеризуют модель в составе этой системы, а не её работу без инструментов.
Что показывает сравнение — и чего оно не доказывает
Результат говорит о том, что дообучение и специально настроенная исследовательская система могут повысить эффективность компактной модели на конкретном тесте Samaya. Однако он не доказывает, что Sterling в целом точнее Claude в финансовых исследованиях: представлены результаты лишь одного теста, а независимая оценка не проводилась.
Samaya сообщает, что использовала отдельный набор из 100 внутренних вопросов для выбора контрольных точек обучения. Компания также утверждает, что более крупная модель, обученная тем же способом, уже показывает первые улучшения, но пока не предоставила результаты. В опубликованном сообщении не указано, как получить доступ к Sterling.
Почему это важно
Для финансовых команд, которые изучают инструменты ИИ для исследований, результаты Samaya — повод присмотреться к компактным моделям с инструментами как к потенциально более доступному варианту. Но поскольку оценки получены на собственном тесте Samaya, командам нужны независимые данные, чтобы понять, насколько хорошо Sterling справится с их задачами.
