i14, doğrusal dikkat mimarisine sahip Laplace 3B modelini eğitmek ve çalıştırmak için AWS Trainium2 ile TorchNeuron Native’ı kullandı. Tek bir trn2.48xlarge bulut sunucusunda model saniyede yaklaşık 120.000 tokenla eğitildi ve aynı anda 1.280 dizide saniyede 11.544 çıktı tokenı üretebildi. Mimari, bağlam uzunluğundan bağımsız olarak her dizi için çıkarım durumunu 29,5 MB’ta sabit tutuyor.
Neden önemli
Öngörülebilir bellek kullanımı, uzun süre çalışan yapay zekâ ajanlarının maliyetleri artırmadan çok daha büyük metinleri işlemesini sağlıyor.
