Oossa

llama.cpp新增LFM2分块支持,并扩展平台构建范围

这款开源大语言模型运行时现可读取GGUF文件中的分块参数,并提供适用于更多CPU、GPU和操作系统的二进制文件。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org团队更新了llama.cpp,使其能够从GGUF元数据中读取LFM2‑VL分块设置。这样,模型就能根据模型文件中存储的min_tiles、max_tiles、tile_size和max_pixels_tolerance值,将图像拆分为多个图块。此次发布还附带适用于多种平台的预编译二进制文件,包括macOS、Linux、Windows、Android,以及CUDA 13、Vulkan和OpenCL等多种硬件加速平台。

为什么重要

开发者现在可以在更多设备上运行图像处理大语言模型,无需自行编写分块代码。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。