i14 nutzte AWS Trainium2 und TorchNeuron Native, um sein Laplace-3B-Modell mit linearer Attention zu trainieren und bereitzustellen. Auf einer einzelnen trn2.48xlarge-Instanz erreichte das Modell beim Training rund 120.000 Tokens pro Sekunde und konnte über 1.280 gleichzeitig laufende Sequenzen hinweg 11.544 Ausgabetokens pro Sekunde erzeugen. Der Speicherbedarf für den Inferenzzustand bleibt bei 29,5 MB pro Sequenz konstant – unabhängig von der Kontextlänge.
Warum es wichtig ist
Ein planbarer Speicherbedarf ermöglicht es langfristig laufenden KI-Agenten, deutlich größere Textmengen zu verarbeiten, ohne dass die Kosten steigen.
