Oossa

llama.cpp voegt LFM2-tiling en builds voor meer platforms toe

De opensource-LLM-runtime leest nu tilingparameters uit GGUF-bestanden en levert binaries voor veel nieuwe CPU-, GPU- en OS-doelplatforms.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Het team van ggml-org heeft llama.cpp bijgewerkt, zodat het LFM2-VL-tilinginstellingen uit GGUF-metadata kan lezen. Daardoor kan het model afbeeldingen opdelen in tegels op basis van de waarden voor min_tiles, max_tiles, tile_size en max_pixels_tolerance die in het modelbestand staan. De release bevat ook voorgecompileerde binaries voor uiteenlopende platforms: macOS, Linux, Windows, Android en diverse hardwareversnellers, zoals CUDA 13, Vulkan en OpenCL.

Waarom het ertoe doet

Ontwikkelaars kunnen imageverwerkende LLM's nu op meer apparaten draaien zonder zelf tilingcode te schrijven.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.