webAI 发布了 TwIL-8B,这是一款拥有 88 亿参数、基于 IBM Granite 4.2 8B 进行后训练的推理模型。MarkTechPost 报道称,它在 MATH-500 上得分 98.2,在 LiveCodeBench 上得分 81.6。报道还指出,TwIL-8B 在知识类基准测试中的表现不及规模相近的模型。
这些数据表明,据报道,该模型擅长数学和编程任务,但并非在所有类型的评测中都表现突出。不过,仅凭这些数字,无法看出 TwIL-8B 在个人实际问题上的表现,也无法判断在相同测试条件下,它与某个特定竞品相比如何。
这些分数说明了什么
MATH-500 是数学基准测试,LiveCodeBench 则用于评估编程能力。报道列出了 TwIL-8B 在两项测试中的得分,但没有说明测试设置、用于对比的模型版本,也没有提供是否启用工具等细节。报道也未解释评分标准,因此 98.2 和 81.6 应视为报道中的基准测试分数,而非百分比或准确率保证。
关于知识类测试的对比,报道提供的信息更少:没有列出基准测试名称或分数,也未说明具体比较了哪些同等规模的模型。因此,很难判断差距有多大,或测试涉及哪些类型的知识问题。现有信息也未说明用户可以在哪里使用 TwIL-8B、其权重是否开放,或它的费用是多少。
它的定位
TwIL-8B 以 IBM Granite 4.2 8B 为基础,再进行后训练,也就是在基础模型构建完成后继续训练。此次发布表明,webAI 推出了一款在两项明确列出的任务基准测试中成绩亮眼的模型,同时也承认它在知识类测试中的表现较弱。但这并不能证明它整体优于同等规模的系统:数学和编程测试的得分无法回答它在知识类任务上的表现如何,而且相关对比细节也没有公布。
为什么重要
对于正在为数学或编程任务挑选模型的人来说,报道中的分数让 TwIL-8B 值得关注,但并不能说明它处理个人具体任务的能力。模型的获取方式、价格和测试条件均未说明,因此目前还无法判断用户能否使用它,也难以与其他选择进行公平比较。