Oossa

llama.cpp b11768, akış API’sine çıktı dizini ekliyor

Açık kaynaklı LLM çalışma zamanı, SSE olaylarına output_index alanını eklemek için sunucusunu güncelliyor. macOS, Linux ve iOS için yeni ikili dosyalar da sunuluyor.

Kısa haberYazan: Oossa yayın tarihi: 1 dk okuma

ggml‑org/llama.cpp projesi b11768 sürümünü yayımladı. Güncellemeyle sunucu, Responses API Server‑Sent Events olaylarına output_index alanını ekleyecek şekilde düzeltildi; bu da akış kullanan istemcilerle uyumluluğu artırıyor. Değişiklik ayrıca Anthropic’in akış kodunu yeniden kullanıyor ve kullanılmayan araç çağrısı alanlarını temizliyor. macOS (Apple Silicon ve Intel), iOS ve çeşitli Ubuntu yapılandırmaları için önceden derlenmiş ikili dosyalar indirilebilir durumda.

Neden önemli

llama.cpp kullanan geliştiriciler artık akış yanıtının her parçasının hangi bölüme ait olduğunu güvenilir biçimde izleyebilir; böylece sohbet uygulamalarıyla entegrasyon kolaylaşır.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.