Oossa

llama.cpp b11795 में सर्वर पैरामीटर फ़ॉरवर्डिंग की सुविधा

ओपन-सोर्स llama.cpp लाइब्रेरी अब अपने /v1/messages API के ज़रिए अतिरिक्त सैंपलिंग पैरामीटर आगे भेजती है। macOS, Linux और iOS के लिए नए बाइनरी बिल्ड भी उपलब्ध हैं।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ggml‑org टीम ने llama.cpp का संस्करण b11795 जारी किया। इस अपडेट में सर्वर को इस तरह बदला गया है कि /v1/messages एंडपॉइंट के extra_params फ़ील्ड में दिए गए सैंपलिंग पैरामीटर बिना बदलाव के आगे भेजे जा सकें। इसके अलावा, macOS (Apple Silicon और Intel), iOS और Ubuntu के कई CPU व Vulkan बिल्ड के लिए पहले से तैयार बाइनरी जोड़ी गई हैं।

यह क्यों मायने रखता है

डेवलपर अब अतिरिक्त कोड लिखे बिना API के ज़रिए जनरेशन सेटिंग्स को अपनी ज़रूरत के मुताबिक़ बदल सकते हैं, जिससे llama.cpp को ऐप्स में जोड़ना तेज़ हो सकता है।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।