OossaAI तेज़ी से विकसित हो रहा है। हम इसे आसान भाषा में समझाते हैं।

llama.cpp v0.2.0 प्री-रिलीज़ में Hexagon CPU ऑप्टिमाइज़ेशन

ओपन-सोर्स LLM रनर ने Snapdragon चिप्स पर concat ऑपरेशन तेज़ करने के लिए अपना Hexagon बैकएंड अपडेट किया है।

संक्षिप्तOossa1 मिनट पढ़ना

ggml‑org/llama.cpp प्रोजेक्ट ने 30 सितंबर 2026 को एक प्री-रिलीज़ बिल्ड (टैग b11272) जारी किया। इसमें concat ऑपरेशन के लिए Hexagon-विशिष्ट ऑप्टिमाइज़ेशन जोड़ा गया है, जो भाषा मॉडल के इन्फ़रेंस में आम तौर पर इस्तेमाल होने वाला चरण है। इस बदलाव से पैकेट का ओवरहेड घटता है और तेज़ division रूटीन का इस्तेमाल होता है, जिससे डेटा इधर-उधर ले जाने वाला हॉट लूप तेज़ चलता है। यह अपडेट कई प्लेटफ़ॉर्म के लिए जारी बिल्ड्स के व्यापक सेट का हिस्सा है, जिनमें Hexagon NPU वाले Android Snapdragon डिवाइस भी शामिल हैं।

यह क्यों मायने रखता है

इससे Snapdragon फोन पर LLM चलाना काफ़ी तेज़ हो जाता है और डिवाइस पर AI कामों की लेटेंसी घटती है।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।

स्रोत और संदर्भ

#स्रोतप्रकाशकतारीखमुख्य बात
1ggml-org/llama.cpp b11272 ↗llama.cpp30 सित॰ 2026<details open> hexagon: optimize concat op (#29673) * hex-concat: reduce pkts in gather/transpose hot loop gather directly into dst buffer,

1 स्रोत

अंतिम अपडेट: ·Markdown·llms.txt