بهروزرسانی v0.1.918-beta از Unsloth قابلیتی برای کار با رایانه اضافه میکند که به مدل هوش مصنوعی امکان میدهد صفحهنمایش کاربر را ببیند و ماوس و صفحهکلید را کنترل کند. این قابلیت با مدلهای بینایی محلیِ پشتیبانیشده و همچنین ارائهدهندگان متصل، روی macOS، Windows و Linux کار میکند. این قابلیت بهطور پیشفرض خاموش است و باید از بخش Settings فعال شود.
پیش از آنکه مدل نخستین اقدامش را در یک گفتوگو انجام دهد، Unsloth اجازه میگیرد. برای جابهجایی به برنامهای تازه و نیز پیش از گامهای پرخطر، مانند استفاده از ترمینال، هم اجازه میخواهد. این شرکت میگوید فارغ از تنظیمات مجوز، برنامههای مسدودشده را نمیتوان کلیک کرد یا در آنها چیزی تایپ کرد. کاربران میتوانند با فشردن Stop یا بردن نشانگر به گوشهای از صفحه، کنترل را پس بگیرند.
اتصال برنامههای بیشتر به گفتوگو
این بهروزرسانی، Unreal Engine، Unity، Godot، Figma و Roblox را هم در کنار Blender به فهرست برنامهها اضافه میکند. این اتصالها از MCP استفاده میکنند؛ روشی برای تعامل مدلهای گفتوگومحور با نرمافزارهای دیگر. Unsloth میگوید مدل میتواند با کمک آنها صحنه و بازی بسازد؛ از جمله نمونههای نمایشی این شرکت، بازی Pong در Godot و میدان یک روستا در Unreal Engine است. اتصال Figma فقط خواندنی است: مدل میتواند فریمها، سبکها و داراییها را بررسی کند، اما نمیتواند آنها را ویرایش کند.
کاربران برای فعالسازی باید برنامهای را انتخاب کنند، اجازه بدهند و اتصال را آزمایش کنند. Unsloth یادآوری میکند که این ابزارها کد را در برنامه متصل اجرا میکنند و میگوید فقط مالک آن برنامه میتواند از آنها استفاده کند. این نسخه همچنین ۹ ارائهدهنده را به گالری اتصالهای قابل جستوجو اضافه میکند که Amazon Bedrock، Azure OpenAI، NVIDIA NIM و Perplexity از جمله آنها هستند.
مدلهای تصویر و کنترلهای گفتوگو
اکنون میتوان MiniMax-H3-Image را با فرمت GGUF روی CPUها، Macها و سختافزار AMD اجرا کرد و روی پردازندههای گرافیکی NVIDIA نیز از وزنهای FP8 یا INT8 بهره برد. FP8 به پردازنده گرافیکی NVIDIA با توان محاسباتی SM 8.9 یا بالاتر نیاز دارد. کاربران همچنین میتوانند مدل تصویر را با LoRA تنظیم دقیق کنند؛ روشی برای سازگار کردن مدل با مجموعه کوچکتری از وزنهای افزودهشده.
بهگفته Unsloth، رمزگشایی یک تصویر 2048 پیکسلی روی A100 80GB بهجای 2.82 ثانیه، 0.28 ثانیه طول میکشد. این نتیجهای است که شرکت گزارش کرده و مقایسهای مستقل نیست. تغییرهای دیگر شامل انتخابگر مدل در کادر گفتوگو، مرور فایلهای پروژه و خلاصهسازی خودکار گفتوگوهای طولانی در بسیاری از اتصالهاست. این بهروزرسانی همچنین اجرای Inkling-2-Small را بهصورت Dynamic GGUFs پشتیبانی میکند.
چرا مهم است
برای کسانی که مدلهای هوش مصنوعی را بهصورت محلی اجرا میکنند، قابلیت کار با رایانه میتواند به آنها امکان دهد از مدل بخواهند کارهایی را در نرمافزارهای دسکتاپ انجام دهد، نه اینکه فقط دستورالعمل ارائه کند. اما استفاده از آن به راهاندازی و اعطای مجوز صریح نیاز دارد و این نسخه، فراتر از نمونهها و آزمایشهای خود Unsloth، نشان نمیدهد که مدل با چه میزان اطمینانی از پس کارهای روزمره برمیآید.