i14 برای آموزش و سرویس‌دهی مدل linear-attention خود، Laplace 3B، از AWS Trainium2 و TorchNeuron Native استفاده کرد. این مدل روی یک نمونه trn2.48xlarge با سرعت حدود 120,000 توکن‌برثانیه آموزش دید و می‌توانست در 1,280 توالی هم‌زمان، 11,544 توکن خروجی در ثانیه تولید کند. معماری آن، مستقل از طول متن ورودی، وضعیت استنتاج را برای هر توالی روی 29.5 MB ثابت نگه می‌دارد.
چرا مهم است
مصرف حافظه قابل‌پیش‌بینی به عامل‌های هوش مصنوعی امکان می‌دهد متن‌های بسیار طولانی‌تری را پردازش کنند، بی‌آنکه هزینه‌ها افزایش یابد.
