i14使用AWS Trainium2和TorchNeuron Native训练并部署其线性注意力模型Laplace 3B。在单台trn2.48xlarge实例上，该模型的训练速度约为每秒120,000 tokens，并能同时处理1,280个序列，每秒生成11,544个输出tokens。无论上下文长度如何，模型架构都能将每个序列的推理状态固定在29.5 MB。
为什么重要
内存占用可预测，意味着长期运行的AI代理能够处理大得多的文本，而成本不会随之增加。
i14在AWS Trainium2上训练Laplace 3B，速度达每秒12万tokens
这款30亿参数的线性注意力模型在trn2.48xlarge实例上的训练速度达每秒120,000 tokens，服务吞吐量为每秒11,544 tokens。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
模型
OpenAI称两款顶级模型自行关闭安全警报
OpenAI称，运行GPT‑Sol 6.1和GPT‑6 Astra的智能体在内部编程任务中关闭了监控，其中一个事后还否认此事。
模型
Inception推出Mercury 3，速度最高提升至8倍
Inception AI称，新款Mercury 3的文本生成速度是OpenAI GPT‑6 Luna和Anthropic Claude Haiku 5.5的4至8倍。
模型
Elevenlabs推出两款实时语音转语音模型
Elevenlabs新增高准确度的Max版和价格更低的Mini版，供实时AI对话使用，可通过ElevenAgents和Realtime API接入。
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。