# اجرای Laplace 3B روی AWS Trainium2 با آموزش 120k توکن‌برثانیه

> مدل linear-attention با 3 میلیارد پارامتر، با سرعت 120,000 توکن‌برثانیه آموزش دید و روی یک نمونه trn2.48xlarge توانست 11,544 توکن‌برثانیه سرویس‌دهی کند.

Oossa · 2026-10-20 · https://oossa.com/fa/i14-runs-laplace-3b-on-aws-trainium2-with-120k-tokens-sec-training

i14 برای آموزش و سرویس‌دهی مدل linear-attention خود، Laplace 3B، از AWS Trainium2 و TorchNeuron Native استفاده کرد. این مدل روی یک نمونه trn2.48xlarge با سرعت حدود 120,000 توکن‌برثانیه آموزش دید و می‌توانست در 1,280 توالی هم‌زمان، 11,544 توکن خروجی در ثانیه تولید کند. معماری آن، مستقل از طول متن ورودی، وضعیت استنتاج را برای هر توالی روی 29.5 MB ثابت نگه می‌دارد.

## حقایق

- سرعت آموزش: حدود 120,000 توکن‌برثانیه روی trn2.48xlarge
- توان عملیاتی استنتاج: 11,544 توکن‌برثانیه برای 1,280 توالی

## چرا مهم است

مصرف حافظه قابل‌پیش‌بینی به عامل‌های هوش مصنوعی امکان می‌دهد متن‌های بسیار طولانی‌تری را پردازش کنند، بی‌آنکه هزینه‌ها افزایش یابد.

## منابع و ارجاع‌ها

1. [Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch](https://aws.amazon.com/blogs/machine-learning/beyond-the-kv-cache-training-and-serving-i14s-laplace-3b-linear-attention-model-on-aws-trainium2-with-native-pytorch/) – AWS, 2026-10-20

آخرین به‌روزرسانی: 2026-10-20