i14、AWS Trainium2でLaplace 3Bを学習　毎秒12万トークン

30億パラメーターの線形アテンションモデルは、毎秒12万トークンで学習し、trn2.48xlargeインスタンス上で毎秒11,544トークンを生成した。

短信著者： OossaOossa公開日: 2026年10月20日 21:41 UTC1 分で読める

i14はAWS Trainium2とTorchNeuron Nativeを使い、線形アテンションモデル「Laplace 3B」の学習と推論を行った。単一のtrn2.48xlargeインスタンスで、モデルは毎秒約120,000トークンの速度で学習し、1,280個のシーケンスを同時に処理しながら毎秒11,544トークンを生成できた。このアーキテクチャでは、推論時の状態のサイズがシーケンスあたり29.5 MBに固定され、コンテキスト長に左右されない。