冻结的16 MB词汇表胜过小型语言模型中的学习型嵌入

一项新研究显示，固定的16 MB码本可替代大型学习型嵌入表，在保持准确率的同时缩小模型体积、提升推理速度。

简讯作者： OossaOossa 发布日期: 2026年10月19日 04:08 UTC1 分钟阅读

由Saikiran Bathula领衔的研究团队于2026年10月15日发布了一篇预印本，介绍了一种供小型语言模型使用的微型冻结词汇表。他们将Gemma风格的270 M模型中常见的学习型嵌入表替换为一个仅有16 MB、包含512位码字且没有可训练参数的码本。使用该表训练的模型在LAMBADA和PIQA等基准测试中达到或超过原模型的表现，同时大幅减少内存占用，并在笔记本电脑CPU上的运行速度提升5–6倍。