# i14 tränar Laplace 3B på AWS Trainium2 med 120 000 token/s

> Den linjära attentionmodellen med 3 miljarder parametrar tränades i 120 000 token per sekund och levererade 11 544 token per sekund på en instans av typen trn2.48xlarge.

Oossa · 2026-10-20 · https://oossa.com/sv/i14-runs-laplace-3b-on-aws-trainium2-with-120k-tokens-sec-training

i14 använde AWS Trainium2 och TorchNeuron Native för att träna och köra sin linjära attentionmodell Laplace 3B. På en enda instans av typen trn2.48xlarge tränades modellen i ungefär 120 000 token per sekund och kunde generera 11 544 utmatningstoken per sekund för 1 280 samtidiga sekvenser. Arkitekturen håller inferenstillståndet konstant på 29.5 MB per sekvens, oberoende av kontextlängden.

## Fakta

- Träningshastighet: ~120 000 token/sekund på trn2.48xlarge
- Inferensgenomströmning: 11 544 token/sekund för 1 280 sekvenser

## Varför det spelar roll

Förutsägbar minnesanvändning gör att AI-agenter som körs länge kan hantera betydligt mer text utan att kostnaderna ökar.

## Källor och referenser

1. [Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch](https://aws.amazon.com/blogs/machine-learning/beyond-the-kv-cache-training-and-serving-i14s-laplace-3b-linear-attention-model-on-aws-trainium2-with-native-pytorch/) – AWS, 2026-10-20

Senast uppdaterad: 2026-10-20