A Samaya AI afirma que seu modelo Sterling, voltado à pesquisa financeira, obteve 58,9% no benchmark FrontierFinance da empresa, superando os 55,9% do Claude Fable 5.1. A Samaya informa que cada pergunta custa US$ 0,61 com o Sterling, ante US$ 6,89 com o Claude — cerca de 11 vezes menos.
Esses números são resultados do próprio benchmark da Samaya, não de uma comparação independente. O FrontierFinance avalia tarefas de pesquisa ao longo do processo de investimento, incluindo perguntas que exigem coletar dados financeiros e fundamentar uma resposta escrita com citações. A Samaya diz que as perguntas do benchmark não foram incluídas no treinamento, mas foi a própria empresa que criou o teste e realizou a avaliação.
Como o Sterling foi treinado
O Sterling é baseado no Nemotron 3.5 Lightning, da NVIDIA, um modelo de 30 bilhões de parâmetros que ativa 3 bilhões de parâmetros por vez. A Samaya afirma que o modelo-base começou com 42,5% de precisão no FrontierFinance e que o processo de treinamento em quatro etapas da empresa elevou o resultado para 58,9%.
O processo combinou duas etapas de treinamento supervisionado com duas de aprendizado por reforço, método que usa pontuações para orientar tentativas posteriores. O modelo aprendeu a usar ferramentas de pesquisa financeira, escolher entre diferentes abordagens, reunir evidências e produzir relatórios com citações. A Samaya diz que o treinamento usou exemplos de oito modelos diferentes como tutores, além de perguntas elaboradas e avaliadas por profissionais do setor financeiro.
A configuração de pesquisa influencia o resultado: o Sterling trabalha com um conjunto de ferramentas específicas para finanças, e modelos auxiliares resumem as respostas longas das ferramentas e o histórico de pesquisa. Segundo a Samaya, essa configuração ajuda o modelo menor — com menos parâmetros ativos — a realizar pesquisas que envolvem muitas chamadas a ferramentas. Portanto, as pontuações divulgadas descrevem o modelo funcionando dentro desse sistema, não um modelo autônomo respondendo sem ferramentas.
O que a comparação mostra — e o que não mostra
O resultado sugere que o pós-treinamento e uma configuração de pesquisa personalizada podem melhorar o desempenho de um modelo menor em um teste específico da Samaya. Não demonstra que o Sterling seja, de modo geral, mais preciso que o Claude em pesquisas financeiras: os resultados apresentados abrangem um único benchmark, e não há registro de uma avaliação independente.
A Samaya diz que usou um conjunto separado de 100 perguntas internas para escolher os checkpoints de treinamento. A empresa também afirma que um modelo maior, treinado com a mesma abordagem, apresentou ganhos iniciais, mas ainda não divulgou os resultados. O anúncio fornecido não especifica como as pessoas podem acessar o Sterling.
Por que importa
Para equipes financeiras que avaliam ferramentas de pesquisa com IA, os resultados da Samaya são um motivo para considerar modelos menores equipados com ferramentas como uma opção potencialmente mais barata. Mas as pontuações vêm de um benchmark criado pela própria Samaya; por isso, as equipes ainda precisam de evidências independentes para saber se o Sterling funciona tão bem em suas próprias tarefas de pesquisa.
