i14 utilizó AWS Trainium2 y TorchNeuron Native para entrenar y servir su modelo de atención lineal Laplace 3B. En una sola instancia trn2.48xlarge, el modelo se entrenó a unos 120.000 tokens por segundo y pudo generar 11.544 tokens de salida por segundo en 1.280 secuencias simultáneas. La arquitectura mantiene fijo el estado de inferencia en 29,5 MB por secuencia, independientemente de la longitud del contexto.
Por qué importa
El uso predecible de memoria permite que los agentes de IA que funcionan durante largos periodos procesen mucho más texto sin que aumenten los costos.
