Samaya称Sterling在金融基准测试中胜过Claude

Samaya AI称，其金融研究模型Sterling在该公司设立的FrontierFinance基准测试中得分为58.9%，高于Claude Fable 5.1的55.9%。Samaya表示，Sterling每题成本为$0.61，Claude则为$6.89，前者约低11倍。

这些数据是Samaya自行开展基准测试所得，并非独立对比结果。FrontierFinance测试投资流程中的研究任务，包括收集金融数据并通过引文支撑书面答案。Samaya称，测试题未用于训练，但测试由该公司设计并评估。

Sterling的训练方式

Sterling基于NVIDIA的Nemotron 3.5 Lightning构建。后者拥有30 billion个参数，每次调用其中3 billion个参数。Samaya称，基础模型在FrontierFinance上的准确率为42.5%，经过该公司的四阶段训练后升至58.9%。

训练过程包括两轮监督训练和两轮强化学习；强化学习会利用评分来引导后续尝试。模型学会了使用金融研究工具、在不同研究方法中进行选择、收集证据并生成附有引文的报告。Samaya称，训练材料包括八种不同教学模型生成的示例，以及由金融专业人士编写并评分的问题。

研究系统的配置也会影响结果：Sterling使用一套专为金融领域设计的工具，辅助模型则会压缩冗长的工具输出和研究记录。Samaya称，这套配置让较小的活跃模型能够通过多次调用工具完成研究。因此，公布的分数反映的是模型在该系统中的表现，而非不借助工具独立作答的表现。

这项对比说明了什么，又没有说明什么

结果表明，后训练和定制的研究配置可以提升较小模型在Samaya特定测试中的表现。但这并不能证明Sterling在金融研究中整体上比Claude更准确：目前公布的数据只涵盖一项基准测试，也没有记录独立评估结果。

Samaya称，公司还使用另一组100道内部问题来选择训练检查点。该公司还表示，采用相同方法训练的更大型号已初见成效，但尚未公布相关结果。公告也没有说明人们如何使用Sterling。