تقلّص مكتبة C++ الجديدة مفتوحة المصدر من Google زمن نقل ذاكرة KV بأكثر من 90% في نماذج MoE الكبيرة.
خبر موجزبقلم Oossaنشرته Oossa: 1 دقائق قراءة
أطلقت Google مكتبة TPU Sync مفتوحة المصدر المكتوبة بلغة C++، لنقل ذاكرة المفتاح والقيمة (KV) وأوزان النماذج بين ذاكرة النطاق الترددي العالي في وحدات TPU، وذاكرة RAM المضيفة، ومساحات التخزين، والشبكة. وتقول الشركة إن المكتبة تقلّص زمن نقل ذاكرة KV بأكثر من 90% في نماذج مزيج الخبراء التي تضم ما بين 235 مليارًا و480 مليار مُعامل.
يمكن للمطورين تحديث حالة نماذج اللغة الكبيرة على وحدات TPU بسرعة أكبر بكثير، ما يقلل وقت التوقف أثناء الاستدلال أو الضبط الدقيق.
النماذج
تتيح محفظة ChatGPT الجديدة لوكلاء «dots» لدى OpenAI شراء المنتجات لمشتركي Pro في الولايات المتحدة، باستخدام بيانات بطاقات مُرمّزة.
النماذج
يستطيع وكيل الذكاء الاصطناعي الاتصال بشركات الكابل وإدارات المرور والمطاعم، لكن كثيرًا من الشركات لا تزال تنهي المكالمة عند سماع الصوت الاصطناعي.
النماذج
بدأت Microsoft استعادة الخدمة بعد تعطل وظائف في Microsoft 365. وتأثرت بعض الموصلات والتكاملات، لا الخدمات الأساسية كلها.
Oossa · النشرة البريدية
أسبوع الذكاء الاصطناعي، مشروحًا
كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.
