# i14 ने AWS Trainium2 पर Laplace 3B को 120,000 टोकन/सेकंड की रफ्तार से ट्रेन किया

> 3 अरब पैरामीटर वाले इस linear-attention मॉडल को 120,000 टोकन प्रति सेकंड की रफ्तार से ट्रेन किया गया और trn2.48xlarge इंस्टेंस पर इसने 11,544 टोकन प्रति सेकंड की दर से आउटपुट दिया।

Oossa · 2026-10-20 · https://oossa.com/hi/i14-runs-laplace-3b-on-aws-trainium2-with-120k-tokens-sec-training

i14 ने अपने Laplace 3B linear-attention मॉडल को ट्रेन करने और उससे आउटपुट पाने के लिए AWS Trainium2 और TorchNeuron Native का इस्तेमाल किया। एक trn2.48xlarge इंस्टेंस पर मॉडल ने करीब 120,000 टोकन प्रति सेकंड की रफ्तार से ट्रेनिंग की और 1,280 समकालीन सीक्वेंस में कुल 11,544 आउटपुट टोकन प्रति सेकंड जनरेट किए। इस आर्किटेक्चर में हर सीक्वेंस के लिए इन्फरेंस स्टेट 29.5 MB पर स्थिर रहता है, चाहे कॉन्टेक्स्ट की लंबाई कितनी भी हो।

## तथ्य

- ट्रेनिंग की रफ्तार: trn2.48xlarge पर करीब 120,000 टोकन/सेकंड
- इन्फरेंस थ्रूपुट: 1,280 सीक्वेंस के लिए 11,544 टोकन/सेकंड

## यह क्यों मायने रखता है

मेमोरी का इस्तेमाल अनुमानित रहने से लंबे समय तक चलने वाले AI एजेंट टेक्स्ट की कहीं बड़ी मात्रा संभाल सकते हैं, बिना लागत बढ़ाए।

## स्रोत और संदर्भ

1. [Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch](https://aws.amazon.com/blogs/machine-learning/beyond-the-kv-cache-training-and-serving-i14s-laplace-3b-linear-attention-model-on-aws-trainium2-with-native-pytorch/) – AWS, 2026-10-20

अंतिम अपडेट: 2026-10-20