مقاله‌ای تازه در arXiv مدل بینایی‌ـ‌زبانی Nemotron 3.5 Bolt 74B-A9B 24GB را معرفی می‌کند؛ مدلی برای وظایف هوش مصنوعی روی دستگاه، مثل استفاده از ابزارها، وب‌گردی و کار با ترمینال. نویسندگان می‌گویند این مدل برای رایانه‌های دارای حافظه محدود ساخته شده و سرعت استنتاج آن روی RTX Spark به 84 TPS می‌رسد. چکیده، تنظیمات آزمونی را که این رقم سرعت بر اساس آن به دست آمده، مشخص نمی‌کند.
این مدل از ترکیب معماری‌های Mamba و Transformer ساخته شده؛ دو رویکرد برای طراحی مدل‌های هوش مصنوعی. ریشه آن به خانواده Nemotron 3.5 Super VL 120B-A12B برمی‌گردد و از فشرده‌سازی Star Elastic و تقطیر آگاه از کمّی‌سازی 2-bit استفاده می‌کند. نویسندگان این روش‌ها را راهی برای ایجاد تعادل میان عملکرد و میزان مصرف حافظه می‌دانند. هرچند «24GB» در نام مدل آمده، چکیده نیازمندی‌های سخت‌افزاری را توضیح نمی‌دهد و نمی‌گوید آیا این مقدار حداقل حافظه موردنیاز است یا نه.
این مدل برای چه کارهایی طراحی شده است؟
مقاله بر وظایف عامل‌محور تمرکز دارد؛ یعنی کارهایی که در آن مدل برای رسیدن به هدف از ابزارها استفاده می‌کند یا با نرم‌افزارها تعامل دارد. نویسندگان می‌گویند Bolt را برای استدلال، استفاده از ابزار، وب‌گردی و تعامل با ترمینال بهینه کرده‌اند. آن‌ها همچنین سامانه‌ای همراه به نام LiLiCorr ساخته‌اند که آن را «پیش‌نویس‌گر حدسی» توصیف می‌کنند و می‌گویند این سامانه هم‌زمان با مدل منتشر شده تا به دستیابی به سرعت استنتاج هدف کمک کند. چکیده توضیح نمی‌دهد که نصب این دو سامانه چگونه انجام می‌شود یا چه مجوزی دارند.
نویسندگان می‌گویند Bolt در آزمون‌هایی از جمله GDPVal v2، BrowseComp و Terminal-Bench 2.1، در مقایسه با مدل‌های پیشرو با ظرفیت حافظه و سرعت مشابه، دقت بیشتری دارد. آن‌ها همچنین می‌گویند سرعت Bolt با مدل‌هایی که تعداد پارامترهای فعالشان بسیار کمتر است قابل‌مقایسه است و برای اجرای طولانی‌مدت وظایف عامل‌محور کفایت می‌کند. چکیده امتیازهای آزمون یا مقایسه مدل‌به‌مدل ارائه نمی‌دهد؛ بنابراین خوانندگان تنها بر اساس خلاصه نمی‌توانند میزان این برتری‌ها را ارزیابی کنند.
کاربران چه برداشتی می‌توانند داشته باشند؟
این مقاله Bolt را گزینه‌ای برای کسانی معرفی می‌کند که می‌خواهند مدل بینایی و زبان، به‌جای اتکا به سرویسی راه دور، وظایف نرم‌افزاری را روی سخت‌افزار محلی انجام دهد. هدف‌گذاری اعلام‌شده 24GB و رقم سرعت روی RTX Spark تصویری از کاربرد موردنظر مدل به دست می‌دهد، اما عملکرد آن را روی رایانه‌های دیگر ثابت نمی‌کند. ادعاهای مقاله از سوی نویسندگان مدل مطرح شده‌اند و چکیده نتایج آزمون مستقل یا جزئیات دسترسی را ارائه نمی‌کند.
چرا مهم است
برای کسانی که می‌خواهند عامل هوش مصنوعی را روی رایانه خودشان اجرا کنند، Bolt مدلی معرفی شده که قرار است وظایف محلی را در چارچوب حافظه 24GB انجام دهد. نویسندگان از سرعت و نتایج آزمون امیدوارکننده‌ای می‌گویند، اما چکیده مشخص نمی‌کند به‌جز RTX Spark چه سخت‌افزارهایی می‌توانند آن را اجرا کنند یا امتیازهای جزئی را ارائه نمی‌دهد؛ بنابراین عملکرد واقعی آن در کاربردهای عملی همچنان نامشخص است.
