Oossa

انتشار نسخه b11768 از llama.cpp با افزودن شناسه خروجی به API استریم

این موتور متن‌باز اجرای مدل‌های زبانی بزرگ، سرور خود را به‌روزرسانی کرده تا رویدادهای SSE شامل output_index باشند؛ همچنین فایل‌های باینری تازه‌ای برای macOS، Linux و iOS ارائه کرده است.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه ggml‑org/llama.cpp نسخه b11768 را منتشر کرد. در این نسخه، سرور اصلاح شده تا رویدادهای Server-Sent Events در Responses API فیلد output_index را نیز شامل شوند و سازگاری با کلاینت‌های استریم بهبود یابد. این تغییر همچنین از کد استریم Anthropic استفاده می‌کند و فیلدهای بلااستفاده فراخوانی ابزار را پاک‌سازی می‌کند. فایل‌های باینری آماده برای macOS (Apple Silicon و Intel)، iOS و چند پیکربندی Ubuntu برای دانلود در دسترس‌اند.

چرا مهم است

توسعه‌دهندگانی که از llama.cpp استفاده می‌کنند، اکنون می‌توانند با اطمینان بیشتری تشخیص دهند هر بخش از پاسخ استریم‌شده به کدام قسمت تعلق دارد؛ این کار ادغام با برنامه‌های چت را ساده‌تر می‌کند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.