# i14 trainiert Laplace 3B auf Trainium2 mit 120.000 Tokens pro Sekunde

> Das Modell mit 3 Milliarden Parametern wurde mit 120.000 Tokens pro Sekunde trainiert und erreichte auf einer trn2.48xlarge-Instanz eine Ausgaberate von 11.544 Tokens pro Sekunde.

Oossa · 2026-10-20 · https://oossa.com/de/i14-runs-laplace-3b-on-aws-trainium2-with-120k-tokens-sec-training

i14 nutzte AWS Trainium2 und TorchNeuron Native, um sein Laplace-3B-Modell mit linearer Attention zu trainieren und bereitzustellen. Auf einer einzelnen trn2.48xlarge-Instanz erreichte das Modell beim Training rund 120.000 Tokens pro Sekunde und konnte über 1.280 gleichzeitig laufende Sequenzen hinweg 11.544 Ausgabetokens pro Sekunde erzeugen. Der Speicherbedarf für den Inferenzzustand bleibt bei 29,5 MB pro Sequenz konstant – unabhängig von der Kontextlänge.

## Die Fakten

- Trainingsgeschwindigkeit: rund 120.000 Tokens pro Sekunde auf trn2.48xlarge
- Inferenzdurchsatz: 11.544 Tokens pro Sekunde bei 1.280 Sequenzen

## Warum es wichtig ist

Ein planbarer Speicherbedarf ermöglicht es langfristig laufenden KI-Agenten, deutlich größere Textmengen zu verarbeiten, ohne dass die Kosten steigen.

## Quellen und Referenzen

1. [Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch](https://aws.amazon.com/blogs/machine-learning/beyond-the-kv-cache-training-and-serving-i14s-laplace-3b-linear-attention-model-on-aws-trainium2-with-native-pytorch/) – AWS, 2026-10-20

Zuletzt aktualisiert: 2026-10-20