i14 ने AWS Trainium2 पर Laplace 3B को 120,000 टोकन/सेकंड की रफ्तार से ट्रेन किया

3 अरब पैरामीटर वाले इस linear-attention मॉडल को 120,000 टोकन प्रति सेकंड की रफ्तार से ट्रेन किया गया और trn2.48xlarge इंस्टेंस पर इसने 11,544 टोकन प्रति सेकंड की दर से आउटपुट दिया।

संक्षिप्तलेखक: OossaOossa द्वारा प्रकाशित: 20 अक्टूबर 2026 को 9:41 pm बजे UTC1 मिनट पढ़ना

1 स्रोत ↓

i14 ने अपने Laplace 3B linear-attention मॉडल को ट्रेन करने और उससे आउटपुट पाने के लिए AWS Trainium2 और TorchNeuron Native का इस्तेमाल किया। एक trn2.48xlarge इंस्टेंस पर मॉडल ने करीब 120,000 टोकन प्रति सेकंड की रफ्तार से ट्रेनिंग की और 1,280 समकालीन सीक्वेंस में कुल 11,544 आउटपुट टोकन प्रति सेकंड जनरेट किए। इस आर्किटेक्चर में हर सीक्वेंस के लिए इन्फरेंस स्टेट 29.5 MB पर स्थिर रहता है, चाहे कॉन्टेक्स्ट की लंबाई कितनी भी हो।