Oossa

llama.cpp b12102 بررسی نماهای تنسوری با گام را اصلاح می‌کند

این نسخه روش بررسی حافظهٔ مصرف‌شده توسط نماهای تنسوری را تغییر می‌دهد تا مواردی که بررسی اندازهٔ قبلی به‌اشتباه نماهای ایمن را رد می‌کرد یا دسترسی به بیرون از منبع را نادیده می‌گرفت، برطرف شوند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml-org نسخهٔ llama.cpp b12102 را با تغییری در روش بررسی محدودهٔ حافظهٔ نماهای تنسوری با گام منتشر کرد. بررسی قبلی ممکن بود نماهایی را که ردیف‌هایشان با هم هم‌پوشانی داشت رد کند، حتی اگر در محدودهٔ منبع باقی می‌ماندند؛ در عین حال، برخی نماها با گام بزرگ‌تر را می‌پذیرفت که از محدودهٔ منبع فراتر می‌رفتند.

توابع به‌روزشدهٔ نما، گام‌ها را به سازندهٔ تنسور می‌فرستند تا تعداد بایت‌هایی را که نما واقعاً به آن‌ها دسترسی دارد بررسی کند. این نسخه همچنین با یک assertion تضمین می‌کند که نمای با گام از عناصری پیوسته در بُعد نخست آغاز شود. بسته‌های نصب برای macOS، Linux، Android و Windows و چند پلتفرم دیگر فهرست شده‌اند.

چرا مهم است

برای توسعه‌دهندگانی که از llama.cpp استفاده می‌کنند، بررسی اصلاح‌شده می‌تواند مانع از تأیید نماهای تنسوری خارج از محدوده شود؛ یادداشت‌های انتشار تأثیر این تغییر بر عملکرد مدل را کمّی نکرده‌اند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.