i14 gebruikte AWS Trainium2 en TorchNeuron Native om het Laplace 3B-model met lineaire aandacht te trainen en uit te voeren. Op één trn2.48xlarge-instantie werd het model getraind met ongeveer 120.000 tokens per seconde en kon het 11.544 outputtokens per seconde genereren voor 1.280 gelijktijdige reeksen. De architectuur houdt de inferentiestatus per reeks vast op 29,5 MB, ongeacht de lengte van de context.
Waarom het ertoe doet
Dankzij het voorspelbare geheugengebruik kunnen AI-agents die lang actief blijven veel grotere teksten verwerken zonder dat de kosten oplopen.
