# i14在AWS Trainium2上训练Laplace 3B，速度达每秒12万tokens

> 这款30亿参数的线性注意力模型在trn2.48xlarge实例上的训练速度达每秒120,000 tokens，服务吞吐量为每秒11,544 tokens。

Oossa · 2026-10-20 · https://oossa.com/zh/i14-runs-laplace-3b-on-aws-trainium2-with-120k-tokens-sec-training

i14使用AWS Trainium2和TorchNeuron Native训练并部署其线性注意力模型Laplace 3B。在单台trn2.48xlarge实例上，该模型的训练速度约为每秒120,000 tokens，并能同时处理1,280个序列，每秒生成11,544个输出tokens。无论上下文长度如何，模型架构都能将每个序列的推理状态固定在29.5 MB。

## 事实

- 训练速度：在trn2.48xlarge上约为每秒120,000 tokens
- 推理吞吐量：1,280个序列共每秒11,544 tokens

## 为什么重要

内存占用可预测，意味着长期运行的AI代理能够处理大得多的文本，而成本不会随之增加。

## 来源与参考

1. [Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch](https://aws.amazon.com/blogs/machine-learning/beyond-the-kv-cache-training-and-serving-i14s-laplace-3b-linear-attention-model-on-aws-trainium2-with-native-pytorch/) – AWS, 2026-10-20

最后更新: 2026-10-20