i14 ha usato AWS Trainium2 e TorchNeuron Native per addestrare e servire il suo modello Laplace 3B ad attenzione lineare. Su una singola istanza trn2.48xlarge, il modello è stato addestrato a circa 120.000 token al secondo e ha generato 11.544 token al secondo su 1.280 sequenze simultanee. L’architettura mantiene lo stato di inferenza fisso a 29,5 MB per sequenza, indipendentemente dalla lunghezza del contesto.
Perché conta
Un uso prevedibile della memoria consente agli agenti IA di lunga durata di elaborare testi molto più ampi senza far aumentare i costi.
