i14 использовала AWS Trainium2 и TorchNeuron Native для обучения и запуска своей модели Laplace 3B с линейным механизмом внимания. На одном инстансе trn2.48xlarge модель обучалась со скоростью около 120 000 токенов в секунду и могла генерировать 11 544 выходных токена в секунду для 1 280 последовательностей одновременно. Объём состояния модели при инференсе остаётся неизменным — 29,5 МБ на последовательность независимо от длины контекста.
Почему это важно
Предсказуемое использование памяти позволяет долго работающим ИИ-агентам обрабатывать гораздо больше текста без роста затрат.
