Oossa

llama.cpp के CUDA बदलाव से Volta GPU पर V100 की रफ्तार बढ़ी

दो पंक्तियों के बदलाव से Volta (sm_70) पर Turing की MMVQ टेबल इस्तेमाल होती है। Tesla V100 पर करीब 3% रफ्तार बढ़ी और नतीजे समान रहे।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

llama.cpp प्रोजेक्ट ने 2026-10-02 को CUDA का एक छोटा अपडेट जारी किया। इससे Volta GPU (sm_70) पर Turing GPU वाली MMVQ ट्यूनिंग टेबल इस्तेमाल होती है। इस बदलाव से Tesla V100 32 GB पर Qwen3.8‑27B मॉडल की थ्रूपुट में करीब 3 % की बढ़ोतरी हुई। पर्प्लेक्सिटी से मापी गई आउटपुट गुणवत्ता पहले जैसी रही। यह पैच anyei और सह-लेखकों ने योगदान के रूप में दिया।

यह क्यों मायने रखता है

V100 GPU पर llama.cpp चलाने वाले उपयोगकर्ता सटीकता खोए बिना मॉडल थोड़ी तेज़ी से चला सकते हैं।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।