ggml-org团队发布了llama.cpp b11710，这是用于运行语言模型的开源软件新版本。更新内容包括为CUDA这一显卡计算平台加入分组专家top-k融合，并提供相关测试，以及一项与HIP相关的调整。
发布页面提供了多个系统的下载版本，包括macOS、iOS和Linux。页面未公布基准测试结果，也没有说明这项改动对速度或内存使用有多大影响。
为什么重要
使用CUDA运行分组专家模型的开发者可以试用这项新实现，但发布说明并未证明它在实际使用中能否提升性能。
llama.cpp b11710加入CUDA专家融合功能
新版本为CUDA加入分组专家top-k融合，并包含测试和一项与HIP相关的调整；同时提供针对不同平台的构建版本。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。