A i14 usou a AWS Trainium2 e o TorchNeuron Native para treinar e executar o modelo de atenção linear Laplace 3B. Em uma única instância trn2.48xlarge, o modelo foi treinado a cerca de 120.000 tokens por segundo e conseguiu gerar 11.544 tokens de saída por segundo em 1.280 sequências simultâneas. A arquitetura mantém o estado de inferência fixo em 29,5 MB por sequência, independentemente do tamanho do contexto.
Por que importa
O uso previsível de memória permite que agentes de IA em execução contínua processem textos muito maiores sem aumentar os custos.
