Oossa

Metis-1.6报告详述两款小型语言模型及其短板

研究人员Giulianno Vollmer称,Metis-1.6的Logos模型在数学基准测试中表现出色,但在代码、指令遵循和长上下文任务上表现不佳。

简讯作者: Oossa 发布日期: 1 分钟阅读

Giulianno Vollmer的Metis-1.6技术报告介绍了两款从零开始构建的语言模型:参数量为2.94 billion的Praxis,以及参数量为10.23 billion的Logos。报告称,Logos在40项基准测试中参与比较的17款模型里排名第七,在30款模型的数学测试中排名第二;报告还指出,它在代码、指令遵循和长上下文任务方面存在短板。

Vollmer详细说明了训练过程中遇到的多个问题,包括一个从未运行的优化器,以及一个可能惩罚正确且较长回答的长度奖励漏洞。报告称,Logos使用1.02 trillion tokens进行训练,其目标并非与前沿模型竞争。

为什么重要

对于正在考虑采用小型模型的开发者来说,这份报告提供了基准测试结果和具体的训练经验;但报告自身的发现也表明,Logos不擅长代码和长上下文任务。文中未说明是否经过独立验证。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。