تقدّم ورقة بحثية جديدة على arXiv نموذج Nemotron 3.5 Bolt 74B-A9B 24GB، وهو نموذج للرؤية واللغة مصمم لمهام الذكاء الاصطناعي المحلية، مثل استخدام الأدوات وتصفح الويب والعمل في الطرفية. ويقول الباحثون إنه صُمم لأجهزة محدودة الذاكرة، وإنه يحقق 84 TPS على RTX Spark، وهو مقياس لسرعة الاستدلال. لكن الملخص لا يوضح ظروف الاختبار التي استند إليها هذا الرقم.
يجمع النموذج بين تصميمي Mamba وTransformer، وهما نهجان لبناء نماذج الذكاء الاصطناعي. وهو مشتق من عائلة Nemotron 3.5 Super VL 120B-A12B، ويستخدم ضغط Star Elastic والتقطير الواعي بالتكميم بدقة 2-bit. ويعرض الباحثون هذه الأساليب بوصفها وسيلة لتحقيق توازن بين الأداء واستهلاك الذاكرة. ويتضمن اسم النموذج «24GB»، لكن الملخص لا يحدد متطلبات الأجهزة ولا يوضح إن كانت هذه أقل سعة ذاكرة لازمة.
ما المهام التي صُمم النموذج لها؟
تركز الورقة على المهام المعتمدة على الوكلاء، أي المهام التي يستخدم فيها النموذج أدوات أو يتفاعل مع البرامج لإنجاز هدف. ويقول الباحثون إنهم حسّنوا Bolt للاستدلال واستخدام الأدوات وتصفح الويب والتفاعل مع الطرفية. كما درّبوا نظامًا مساعدًا اسمه LiLiCorr، وصفوه بأنه أداة للتنبؤ بالرموز، ويقولون إنه يُطرح مع النموذج للمساعدة في بلوغ سرعة الاستدلال المستهدفة. ولا يشرح الملخص طريقة تثبيت أي من النظامين أو نوع الترخيص الذي يخضعان له.
ويقول الباحثون إن دقة النموذج أعلى من دقة النماذج الرائدة ذات البصمة الذاكرية المماثلة، وإن سرعته تنافسية عبر معايير تشمل GDPVal v2 وBrowseComp وTerminal-Bench 2.1. ويضيفون أن سرعة Bolt تقارب سرعة نماذج ذات عدد أقل بكثير من المعلمات النشطة، وأنها كافية للمهام الوكيلة طويلة الأمد. لكن الملخص لا يورد نتائج المعايير أو مقارنات بين النماذج، لذلك لا يمكن للقراء تقدير حجم التحسن اعتمادًا على الملخص وحده.
ما الذي يمكن للمستخدمين استنتاجه؟
تطرح الورقة Bolt خيارًا لمن يريدون نموذجًا للرؤية واللغة يتولى المهام البرمجية على أجهزتهم المحلية، بدلًا من الاعتماد على خدمة عن بُعد. ويعطي استهداف ذاكرة 24GB ورقم السرعة على RTX Spark فكرة عن الاستخدام المقصود، لكنهما لا يثبتان مستوى الأداء على أجهزة أخرى. وتستند الادعاءات الواردة في الورقة إلى مؤلفي النموذج؛ فالملخص لا يتضمن نتائج اختبارات مستقلة أو تفاصيل عن إتاحته.
لماذا يهم
يُطرح Bolt أمام من يأملون في تشغيل وكيل ذكاء اصطناعي على أجهزتهم، بوصفه نموذجًا يستهدف إنجاز المهام المحلية ضمن ذاكرة سعتها 24GB. ويشير الباحثون إلى نتائج واعدة في السرعة والمعايير، لكن الملخص لا يحدد الأجهزة الأخرى التي يمكنها تشغيله، ولا يقدم نتائج مفصلة، ما يجعل الأداء العملي غير محسوم.
