ggml-org نسخه 1.0.0 از llama.cpp را منتشر کرده است؛ نخستین نسخه 1.0 این پروژه. تغییرات ثبتشده از نسخه v0.9.0 تاکنون را دربرمیگیرد؛ از جمله پشتیبانی از بکاندهای سختافزاری جدید، بهبودهای عملکردی، رفع مشکلات امنیتی سرور و بهروزرسانی رابط گفتوگو.
این نسخه پشتیبانی از FP8 را برای حافظه نهان کلید-مقدار اضافه میکند؛ گزینهای برای ذخیرهسازی زمینه گفتوگو. همچنین یک نقطه پایانی تولید گفتارِ سازگار با OpenAI به سرور افزوده شده است. در صفحه انتشار آمده که اطلاعات بیشتری ساعت 3 بعدازظهر به وقت CET در دسترس خواهد بود، اما توضیح مفصلتری درباره معنای رسیدن به نقطه عطف 1.0 ارائه نشده است.
چرا مهم است
کسانی که سرور llama.cpp را اجرا میکنند، میتوانند از نقطه پایانی جدید تولید گفتار استفاده کنند؛ بااینحال، یادداشتهای انتشار مشخص نمیکنند که این قابلیت از کدام مدلها پشتیبانی میکند یا چطور باید آن را پیکربندی کرد.