Oossa

llama.cpp ger Volta-GPU:er fartökning på V100

En ändring på två rader låter Volta (sm_70) använda Turings MMVQ-tabell. Det ger cirka 3 % högre hastighet på en Tesla V100 utan att påverka resultaten.

NotisAv Publicerad av Oossa: 1 min läsning

Projektet llama.cpp släppte en mindre CUDA-uppdatering den 2026-10-02. Den gör att Volta-GPU:er (sm_70) använder samma MMVQ-inställningstabell som Turing-GPU:er. På en Tesla V100 32 GB ökade ändringen genomströmningen med ungefär 3 % för modellen Qwen3.8‑27B. Utdatans kvalitet, mätt med perplexitet, var oförändrad. Patchen bidrog med anyei och medförfattare.

Varför det spelar roll

Den som kör llama.cpp på V100-GPU:er kan köra modeller lite snabbare utan att förlora träffsäkerhet.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.