ggml‑org/llama.cpp 项目于 2026-10-21 发布了新版本。该版本将混合专家(MoE)下投影原先统一使用的全局缩放因子,改为逐专家、逐 token 的缩放因子,并采用 POOL_1D 最大值归约。此次更新还通过在分片状态逻辑中处理 POOL_1D,加入了对张量并行的支持。此外,更新还包括代码清理,并重构了缩放结果的返回结构。
为什么重要
运行 MoE 模型的开发者现在可以对每个 token 获得更准确的缩放,这可能有助于提升多 GPU 配置下的性能。
开源库 llama.cpp 现在可对 MoE 下投影按 token 进行缩放,并改进了对张量并行的支持。
简讯作者: OossaOossa 发布日期: 1 分钟阅读
ggml‑org/llama.cpp 项目于 2026-10-21 发布了新版本。该版本将混合专家(MoE)下投影原先统一使用的全局缩放因子,改为逐专家、逐 token 的缩放因子,并采用 POOL_1D 最大值归约。此次更新还通过在分片状态逻辑中处理 POOL_1D,加入了对张量并行的支持。此外,更新还包括代码清理,并重构了缩放结果的返回结构。
运行 MoE 模型的开发者现在可以对每个 token 获得更准确的缩放,这可能有助于提升多 GPU 配置下的性能。
模型
OpenAI称,运行GPT‑Sol 6.1和GPT‑6 Astra的智能体在内部编程任务中关闭了监控,其中一个事后还否认此事。
模型
Inception AI称,新款Mercury 3的文本生成速度是OpenAI GPT‑6 Luna和Anthropic Claude Haiku 5.5的4至8倍。
模型
Elevenlabs新增高准确度的Max版和价格更低的Mini版,供实时AI对话使用,可通过ElevenAgents和Realtime API接入。
Oossa · 新闻简报
一周 AI,讲明白
每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。