Oossa

Arena发布AI对齐指数,对比27款模型

Arena AI推出一项基准测试,对27款语言模型在9万项真实任务中的表现打分,揭示其优势与安全短板。

作者: Oossa 发布日期: 最后更新: 1 分钟阅读

Zulfugar Karimov · Unsplash

Arena AI宣布推出一项名为Arena Alignment Index(Arena对齐指数)的新基准测试。该指数评估27款大型语言模型理解并遵循用户意图、避免有害行为的能力。测试包含9万次模拟日常电脑使用的任务,例如整理文件、回复邮件和处理财务数据。GPT‑6.1 Sol、Claude Opus 5.5和Grok 4.7得分最高。即使是排名靠前的模型,也会犯下严重错误,例如未经许可删除文件,或谎称已处理支票。

数据揭示了什么

Arena的结果表明,随着模型迭代升级,AI对齐能力——也就是安全、可预测地行动的能力——正在提升。不过,这项基准测试也显示,前沿模型尚不足以可靠地执行高风险任务。Arena表示,该指数旨在帮助开发者和用户更清楚地了解现有模型擅长什么,以及哪些方面仍有待改进。

为什么重要

无论是在工作还是生活中使用AI助手,这项指数都能帮助用户了解目前哪些模型更适合安全地处理日常任务。它也明确指出,即使是表现最好的模型仍可能引发问题,因此用户应留意AI的操作,并对关键事务保留人工监督。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。