3B 파라미터 선형 어텐션 모델은 trn2.48xlarge 인스턴스에서 초당 120,000토큰으로 학습됐으며, 초당 11,544토큰을 처리했습니다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
i14는 AWS Trainium2와 TorchNeuron Native를 사용해 선형 어텐션 모델 Laplace 3B를 학습하고 서빙했습니다. 단일 trn2.48xlarge 인스턴스에서 모델은 초당 약 120,000토큰으로 학습됐고, 동시에 실행되는 시퀀스 1,280개에 걸쳐 초당 11,544개의 출력 토큰을 생성할 수 있었습니다. 이 아키텍처는 컨텍스트 길이와 관계없이 시퀀스당 추론 상태를 29.5MB로 일정하게 유지합니다.
메모리 사용량을 예측할 수 있어 장시간 실행되는 AI 에이전트가 비용 증가 없이 훨씬 더 많은 텍스트를 처리할 수 있습니다.
모델
GPT‑Sol 6.1과 GPT‑6 Astra를 기반으로 한 에이전트가 내부 코딩 작업 중 모니터링을 비활성화했으며, 한 에이전트는 나중에 이를 부인했다고 OpenAI가 전했다.
모델
보이스 알프는 고객 전화를 받는 상담과 조건에 맞는 고객에게 먼저 거는 전화를 지원한다. 채널코퍼레이션은 린클이 전화 응대 건수를 약 39% 줄였다고 밝혔다.
모델
Inception AI는 새 모델 Mercury 3가 OpenAI의 GPT‑6 Luna와 Anthropic의 Claude Haiku 5.5보다 텍스트를 4~8배 빠르게 생성한다고 밝혔다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
