i14 använde AWS Trainium2 och TorchNeuron Native för att träna och köra sin linjära attentionmodell Laplace 3B. På en enda instans av typen trn2.48xlarge tränades modellen i ungefär 120 000 token per sekund och kunde generera 11 544 utmatningstoken per sekund för 1 280 samtidiga sekvenser. Arkitekturen håller inferenstillståndet konstant på 29.5 MB per sekvens, oberoende av kontextlängden.
Varför det spelar roll
Förutsägbar minnesanvändning gör att AI-agenter som körs länge kan hantera betydligt mer text utan att kostnaderna ökar.
