# i14、AWS Trainium2でLaplace 3Bを学習　毎秒12万トークン

> 30億パラメーターの線形アテンションモデルは、毎秒12万トークンで学習し、trn2.48xlargeインスタンス上で毎秒11,544トークンを生成した。

Oossa · 2026-10-20 · https://oossa.com/ja/i14-runs-laplace-3b-on-aws-trainium2-with-120k-tokens-sec-training

i14はAWS Trainium2とTorchNeuron Nativeを使い、線形アテンションモデル「Laplace 3B」の学習と推論を行った。単一のtrn2.48xlargeインスタンスで、モデルは毎秒約120,000トークンの速度で学習し、1,280個のシーケンスを同時に処理しながら毎秒11,544トークンを生成できた。このアーキテクチャでは、推論時の状態のサイズがシーケンスあたり29.5 MBに固定され、コンテキスト長に左右されない。

## 事実

- 学習速度：trn2.48xlargeで毎秒約120,000トークン
- 推論スループット：1,280個のシーケンスで毎秒11,544トークン

## なぜ重要か

メモリー使用量が予測可能なため、AIエージェントはコストを増やさずに、より長いテキストを扱える。

## 出典と参考資料

1. [Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch](https://aws.amazon.com/blogs/machine-learning/beyond-the-kv-cache-training-and-serving-i14s-laplace-3b-linear-attention-model-on-aws-trainium2-with-native-pytorch/) – AWS, 2026-10-20

最終更新: 2026-10-20