i14 s’est appuyé sur AWS Trainium2 et TorchNeuron Native pour entraîner et exécuter son modèle Laplace 3B à attention linéaire. Sur une seule instance trn2.48xlarge, le modèle a été entraîné à environ 120 000 tokens par seconde et pouvait générer 11 544 tokens de sortie par seconde pour 1 280 séquences simultanées. L’architecture maintient l’état d’inférence à une taille fixe de 29,5 MB par séquence, quelle que soit la longueur du contexte.
Pourquoi c'est important
Une consommation mémoire prévisible permet aux agents IA exécutés sur de longues périodes de traiter beaucoup plus de texte sans faire grimper les coûts.
