ggml-org 团队发布了 llama.cpp b12050,其中一项 Vulkan 改动旨在改善软件在 AMD RDNA 3 和 RDNA 4 显卡上处理小型工作负载的方式。发布说明没有提供基准测试结果,也未量化性能提升幅度。
可下载的构建版本包括适用于 macOS、iOS 以及多个 Linux CPU 平台的软件包。
为什么重要
在 RDNA 3 或 RDNA 4 GPU 上运行 llama.cpp 的用户,处理小型工作负载时可能会获得更好的表现,但发布说明没有说明实际性能会有多大变化。
此版本调整了 Vulkan 在 AMD RDNA 3 和 RDNA 4 GPU 上处理小型工作负载时的 split-K 选择,并提供多个平台的可下载构建版本。
简讯作者: OossaOossa 发布日期: 1 分钟阅读
ggml-org 团队发布了 llama.cpp b12050,其中一项 Vulkan 改动旨在改善软件在 AMD RDNA 3 和 RDNA 4 显卡上处理小型工作负载的方式。发布说明没有提供基准测试结果,也未量化性能提升幅度。
可下载的构建版本包括适用于 macOS、iOS 以及多个 Linux CPU 平台的软件包。
在 RDNA 3 或 RDNA 4 GPU 上运行 llama.cpp 的用户,处理小型工作负载时可能会获得更好的表现,但发布说明没有说明实际性能会有多大变化。
模型
这款拥有7530亿参数的模型以 MIT License 开放权重。Deep Principle 称其在多项科学测试中表现提升,但尚未公开完整训练数据或训练方案。
模型
这项由Google与Meta合作开发的项目,只需少量代码改动,就能让开发者在Google芯片上运行PyTorch工作负载,并支持vLLM、Hugging Face等工具。
模型
从12月起,Plus、Pro和Business用户将在ChatGPT与Codex之间共用一个令牌额度。即时模型对话不计入额度。
Oossa · 新闻简报
一周 AI,讲明白
每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。