# i14 обучила Laplace 3B на AWS Trainium2 со скоростью 120 000 токенов/с

> Модель с линейным механизмом внимания и 3 млрд параметров обучалась со скоростью 120 000 токенов в секунду и обрабатывала 11 544 токена в секунду на инстансе trn2.48xlarge.

Oossa · 2026-10-20 · https://oossa.com/ru/i14-runs-laplace-3b-on-aws-trainium2-with-120k-tokens-sec-training

i14 использовала AWS Trainium2 и TorchNeuron Native для обучения и запуска своей модели Laplace 3B с линейным механизмом внимания. На одном инстансе trn2.48xlarge модель обучалась со скоростью около 120 000 токенов в секунду и могла генерировать 11 544 выходных токена в секунду для 1 280 последовательностей одновременно. Объём состояния модели при инференсе остаётся неизменным — 29,5 МБ на последовательность независимо от длины контекста.

## Факты

- Скорость обучения: около 120 000 токенов в секунду на trn2.48xlarge
- Пропускная способность при инференсе: 11 544 токена в секунду для 1 280 последовательностей

## Почему это важно

Предсказуемое использование памяти позволяет долго работающим ИИ-агентам обрабатывать гораздо больше текста без роста затрат.

## Источники и ссылки

1. [Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch](https://aws.amazon.com/blogs/machine-learning/beyond-the-kv-cache-training-and-serving-i14s-laplace-3b-linear-attention-model-on-aws-trainium2-with-native-pytorch/) – AWS, 2026-10-20

Обновлено: 2026-10-20