Oossa

llama.cpp b11768 में स्ट्रीमिंग API के लिए output_index

ओपन-सोर्स LLM रनटाइम के सर्वर में अब SSE इवेंट्स के साथ output_index भी मिलता है। macOS, Linux और iOS के लिए नए बाइनरी बिल्ड भी उपलब्ध हैं।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ggml‑org/llama.cpp प्रोजेक्ट ने संस्करण b11768 जारी किया है। इस रिलीज़ में सर्वर की गड़बड़ी ठीक की गई है, जिससे Responses API के Server‑Sent Events में अब output_index फ़ील्ड भी शामिल होता है। इससे स्ट्रीमिंग क्लाइंट्स के साथ अनुकूलता बेहतर होती है। इस बदलाव में Anthropic का स्ट्रीमिंग कोड दोबारा इस्तेमाल किया गया है और टूल-कॉल के ऐसे फ़ील्ड हटाए गए हैं जिनका उपयोग नहीं हो रहा था। macOS (Apple Silicon और Intel), iOS और Ubuntu के कई कॉन्फ़िगरेशन के लिए पहले से बने बाइनरी डाउनलोड के लिए उपलब्ध हैं।

यह क्यों मायने रखता है

llama.cpp इस्तेमाल करने वाले डेवलपर अब स्ट्रीम किए गए जवाब के हर हिस्से को अधिक भरोसेमंद तरीके से पहचान सकते हैं। इससे चैट ऐप्स के साथ इंटीग्रेशन आसान होता है।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।