La actualización v0.1.918-beta de Unsloth incorpora una función de uso del ordenador que permite a un modelo de IA ver la pantalla y controlar el mouse y el teclado. Funciona en macOS, Windows y Linux con modelos locales de visión compatibles, así como con proveedores conectados. Está desactivada de forma predeterminada y hay que habilitarla en Configuración.
Unsloth pide permiso antes de que un modelo realice su primera acción en un chat. También lo hace antes de cambiar a una app nueva y de ejecutar pasos de riesgo, como usar una terminal. La empresa afirma que no se hará clic ni se escribirá en las apps bloqueadas, independientemente de la configuración de permisos. Los usuarios pueden pulsar Detener o mover el puntero a una esquina de la pantalla para recuperar el control.
Más apps se pueden conectar al chat
La actualización también añade Unreal Engine, Unity, Godot, Figma y Roblox al menú de apps, junto con Blender. Estas conexiones usan MCP, un sistema que permite a los modelos de chat interactuar con otros programas. Según Unsloth, un modelo puede usarlas para crear escenas y juegos; sus demostraciones incluyen un juego de Pong en Godot y una plaza de pueblo en Unreal Engine. Figma solo permite lectura: el modelo puede inspeccionar marcos, estilos y recursos, pero no editarlos.
Los usuarios deben seleccionar una app, dar permiso y probar la conexión antes de activarla. Unsloth señala que estas herramientas ejecutan código dentro de la app conectada y afirma que solo su propietario puede usarlas. La versión también añade nueve proveedores a una galería de conexiones con buscador, entre ellos Amazon Bedrock, Azure OpenAI, NVIDIA NIM y Perplexity.
Modelos de imagen y controles del chat
MiniMax-H3-Image ya se puede ejecutar en formato GGUF en CPU, Mac y hardware AMD, y con pesos FP8 o INT8 en GPU NVIDIA. FP8 requiere una GPU NVIDIA con capacidad de cómputo SM 8.9 o superior. Los usuarios también pueden ajustar el modelo de imagen con LoRA, un método que adapta un modelo mediante un conjunto más pequeño de pesos adicionales.
Unsloth afirma que una imagen de 2048 píxeles se decodifica en 0.28 segundos, en lugar de 2.82 segundos, en una A100 80GB. Es un resultado comunicado por la empresa, no una comparación independiente. Otros cambios incluyen un selector de modelos en el cuadro de chat, navegación por archivos de proyectos y resúmenes automáticos para chats largos en muchas conexiones. La actualización también permite ejecutar Inkling-2-Small como Dynamic GGUFs.
Por qué importa
Para quienes usan modelos locales de IA, el control del ordenador podría permitir pedirle a un modelo que realice tareas en programas de escritorio, en vez de limitarse a dar instrucciones. Sin embargo, requiere configuración y permisos explícitos, y la versión no demuestra con qué fiabilidad resolverá tareas cotidianas más allá de las demostraciones y pruebas de Unsloth.