# 冻结的16 MB词汇表胜过小型语言模型中的学习型嵌入

> 一项新研究显示，固定的16 MB码本可替代大型学习型嵌入表，在保持准确率的同时缩小模型体积、提升推理速度。

Oossa · 2026-10-19 · https://oossa.com/zh/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

由Saikiran Bathula领衔的研究团队于2026年10月15日发布了一篇预印本，介绍了一种供小型语言模型使用的微型冻结词汇表。他们将Gemma风格的270 M模型中常见的学习型嵌入表替换为一个仅有16 MB、包含512位码字且没有可训练参数的码本。使用该表训练的模型在LAMBADA和PIQA等基准测试中达到或超过原模型的表现，同时大幅减少内存占用，并在笔记本电脑CPU上的运行速度提升5–6倍。

## 事实

- 论文于2026年10月15日提交（“Thu, 15 Oct 2026 06:34:18 UTC”）
- 冻结词汇表大小：16 MB；学习型嵌入表大小：168 MB

## 为什么重要

开发者可以在边缘设备上部署体积小、速度快的语言模型，同时不牺牲模型在常见任务上的表现。

## 来源与参考

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

最后更新: 2026-10-19