ggml‑org/llama.cpp项目发布了b12342版本，新增用于少行矩阵乘法量化（MMQ）运算的CUDA int8 MMA内核。该内核支持NVIDIA Ampere及更新架构的GPU，以及Q8_0、Q3_K、Q4_K、Q5_K、Q6_K、IQ3_S、IQ4_NL和IQ4_XS这八种量化格式。此项改动旨在加快推测解码的验证过程。此次更新还修复了若干测试和防护逻辑问题。
为什么重要
开发者可在兼容GPU上更快地运行大模型推理，降低交互式AI应用的延迟。
llama.cpp为少行矩阵运算新增int8 CUDA内核
这款开源大模型运行时现已支持适用于Ampere及更新架构NVIDIA GPU的int8内核，可加速推测解码。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。