Giulianno Vollmer的Metis-1.6技术报告介绍了两款从零开始构建的语言模型:参数量为2.94 billion的Praxis,以及参数量为10.23 billion的Logos。报告称,Logos在40项基准测试中参与比较的17款模型里排名第七,在30款模型的数学测试中排名第二;报告还指出,它在代码、指令遵循和长上下文任务方面存在短板。
Vollmer详细说明了训练过程中遇到的多个问题,包括一个从未运行的优化器,以及一个可能惩罚正确且较长回答的长度奖励漏洞。报告称,Logos使用1.02 trillion tokens进行训练,其目标并非与前沿模型竞争。
为什么重要
对于正在考虑采用小型模型的开发者来说,这份报告提供了基准测试结果和具体的训练经验;但报告自身的发现也表明,Logos不擅长代码和长上下文任务。文中未说明是否经过独立验证。