Oossa

انتشار llama.cpp b11324 با گزینه نگاشت حافظه برای کاهش کپی تنسورها

محیط اجرای متن‌باز LLM اکنون داده‌های مدل را مستقیماً نگاشت می‌کند و مصرف RAM را در نسخه‌های macOS، iOS و Linux کاهش می‌دهد.

خبر کوتاهOossaمنتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org نسخه b11324 از llama.cpp را منتشر کرد. این به‌روزرسانی حالت نگاشت حافظه را اضافه می‌کند تا هنگام بارگذاری مدل‌ها، از ساخت یک کپی کامل و دوم از هر تنسور جلوگیری شود. این قابلیت در بسته‌های باینری جدید برای macOS (Apple Silicon و Intel)، iOS و چند نسخه از Ubuntu در دسترس است. در یادداشت انتشار همچنین از مشارکت‌های Claude و مهندس NVIDIA، Pranesh Gonegandla، قدردانی شده است.

چرا مهم است

توسعه‌دهندگان می‌توانند با همان سخت‌افزار مدل‌های زبانی بزرگ‌تری اجرا کنند؛ قابلیتی که برای علاقه‌مندان و تیم‌های کوچکی با حافظه محدود مفید است.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.