Ollama نسخه 0.40.17-rc0 را معرفی کرد. این به‌روزرسانی پشتیبانی از mmap را برای GPUهای Vulkan اضافه می‌کند و به مدل اجازه می‌دهد از حافظه GPU کارآمدتر استفاده کند. همچنین تولید هم‌زمان متن را در بک‌اند MLX فعال می‌کند و نحوه بازیابی رابط خط فرمان ChatGPT پس از خرابی را بهبود می‌بخشد. کتابخانه llama.cpp به کامیت b12257 ارتقا یافته و یک مشارکت‌کننده جدید نخستین درخواست ادغام خود را ثبت کرده است.
چرا مهم است
توسعه‌دهندگان می‌توانند مدل‌های بزرگ‌تری را با سرعت بیشتر روی GPUهای سازگار اجرا کنند و تأخیر در برنامه‌های هوش مصنوعی محلی را کاهش دهند.
