Unsloth 的 v0.1.918-beta 更新新增电脑操控功能,AI 模型可以查看用户屏幕并控制鼠标和键盘。该功能适用于 macOS、Windows 和 Linux,可搭配受支持的本地视觉模型及已连接的服务提供商使用。此功能默认关闭,必须在“设置”中启用。
模型在聊天中执行首次操作前,Unsloth 会征求用户许可。切换到新应用,以及使用终端等风险较高的操作前,也会再次征求许可。公司表示,无论权限设置如何,被屏蔽的应用都不会被点击或输入内容。用户可以按“停止”,或将指针移至屏幕角落,随时收回控制权。
更多应用可连接到聊天
此次更新还在应用菜单中加入 Unreal Engine、Unity、Godot、Figma 和 Roblox,原有选项包括 Blender。这些连接通过 MCP 实现,让聊天模型能够与其他软件交互。Unsloth 表示,模型可以借此制作场景和游戏;其演示包括在 Godot 中制作 Pong 游戏,以及在 Unreal Engine 中打造村庄广场。Figma 连接仅支持只读:模型可以查看画板、样式和素材,但不能编辑。
用户需要选择应用、授予权限并测试连接,之后才能启用。Unsloth 指出,这些工具会在已连接的应用中运行代码,并表示只有该应用的所有者才能使用。此次发布还在可搜索的连接库中新增九家服务提供商,包括 Amazon Bedrock、Azure OpenAI、NVIDIA NIM 和 Perplexity。
图像模型与聊天功能
MiniMax-H3-Image 现在可在 CPU、Mac 和 AMD 硬件上以 GGUF 格式运行,也可在 NVIDIA GPU 上搭配 FP8 或 INT8 权重运行。使用 FP8 需要计算能力达到 SM 8.9 或更高版本的 NVIDIA GPU。用户还可以用 LoRA 微调该图像模型;这是一种通过添加较少权重来适配模型的方法。
Unsloth 表示,在 A100 80GB 上解码一张 2048 像素图像耗时 0.28 秒,而此前为 2.82 秒。这是公司公布的结果,并非独立对比测试。其他变化包括在聊天框中加入模型选择器、浏览项目文件,以及为许多连接自动生成长对话摘要。此次更新还支持将 Inkling-2-Small 作为 Dynamic GGUFs 运行。
为什么重要
对于运行本地 AI 模型的用户来说,电脑操控功能或许能让他们直接要求模型在桌面软件中完成任务,而不只是提供操作指引。不过,使用该功能需要进行明确设置并授予权限;除了 Unsloth 自家的演示和测试,此次发布并未证明它能否可靠处理日常任务。