# i14, AWS Trainium2에서 Laplace 3B 학습 속도 초당 12만 토큰

> 3B 파라미터 선형 어텐션 모델은 trn2.48xlarge 인스턴스에서 초당 120,000토큰으로 학습됐으며, 초당 11,544토큰을 처리했습니다.

Oossa · 2026-10-20 · https://oossa.com/ko/i14-runs-laplace-3b-on-aws-trainium2-with-120k-tokens-sec-training

i14는 AWS Trainium2와 TorchNeuron Native를 사용해 선형 어텐션 모델 Laplace 3B를 학습하고 서빙했습니다. 단일 trn2.48xlarge 인스턴스에서 모델은 초당 약 120,000토큰으로 학습됐고, 동시에 실행되는 시퀀스 1,280개에 걸쳐 초당 11,544개의 출력 토큰을 생성할 수 있었습니다. 이 아키텍처는 컨텍스트 길이와 관계없이 시퀀스당 추론 상태를 29.5MB로 일정하게 유지합니다.

## 팩트

- 학습 속도: trn2.48xlarge에서 초당 약 120,000토큰
- 추론 처리량: 시퀀스 1,280개에서 초당 11,544토큰

## 왜 중요한가

메모리 사용량을 예측할 수 있어 장시간 실행되는 AI 에이전트가 비용 증가 없이 훨씬 더 많은 텍스트를 처리할 수 있습니다.

## 출처 및 참고 자료

1. [Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch](https://aws.amazon.com/blogs/machine-learning/beyond-the-kv-cache-training-and-serving-i14s-laplace-3b-linear-attention-model-on-aws-trainium2-with-native-pytorch/) – AWS, 2026-10-20

최종 업데이트: 2026-10-20