A atualização v0.1.918-beta da Unsloth adiciona um recurso de uso do computador que permite a um modelo de IA ver a tela do usuário e controlar o mouse e o teclado. O recurso funciona no macOS, Windows e Linux com modelos locais de visão compatíveis, além de provedores conectados. Ele vem desativado por padrão e precisa ser habilitado em Configurações.
Antes de o modelo realizar a primeira ação em uma conversa, a Unsloth pede autorização. Também pede permissão antes de mudar para um novo app e de executar etapas de risco, como usar um terminal. A empresa afirma que apps bloqueados não serão alvo de cliques ou comandos digitados, independentemente das configurações de permissão. Para retomar o controle, os usuários podem pressionar Parar ou mover o ponteiro para um canto da tela.
Mais apps podem se conectar ao chat
A atualização também adiciona Unreal Engine, Unity, Godot, Figma e Roblox ao menu de apps, junto com o Blender. Essas conexões usam MCP, um meio para que modelos de chat interajam com outros softwares. Segundo a Unsloth, o modelo pode usá-las para criar cenários e jogos; as demonstrações da empresa incluem um jogo de Pong no Godot e uma praça de vila no Unreal Engine. No Figma, o acesso é somente para leitura: o modelo pode inspecionar quadros, estilos e recursos, mas não editá-los.
Os usuários precisam selecionar um app, conceder permissão e testar a conexão antes de ativá-la. A Unsloth observa que essas ferramentas executam código dentro do app conectado e afirma que somente o proprietário do app pode usá-las. A versão também adiciona nove provedores a uma galeria de conexões com busca, entre eles Amazon Bedrock, Azure OpenAI, NVIDIA NIM e Perplexity.
Modelos de imagem e controles do chat
O MiniMax-H3-Image agora pode ser executado no formato GGUF em CPUs, Macs e hardware da AMD, e com pesos FP8 ou INT8 em GPUs NVIDIA. O FP8 exige uma GPU NVIDIA com capacidade de computação SM 8.9 ou superior. Os usuários também podem ajustar o modelo de imagem com LoRA, um método que adapta um modelo usando um conjunto menor de pesos adicionais.
A Unsloth afirma que uma imagem de 2048 pixels é decodificada em 0.28 segundos, em vez de 2.82 segundos, em uma A100 80GB. Esse resultado foi divulgado pela empresa e não é uma comparação independente. Outras mudanças incluem um seletor de modelos na caixa de chat, navegação pelos arquivos do projeto e resumos automáticos para conversas longas em muitas conexões. A atualização também permite executar o Inkling-2-Small como Dynamic GGUFs.
Por que importa
Para quem usa modelos locais de IA, o recurso de uso do computador pode permitir pedir ao modelo que execute tarefas em softwares de desktop, em vez de apenas dar instruções. Mas ele exige configuração e permissões explícitas, e a versão não demonstra o grau de confiabilidade em tarefas cotidianas além das demonstrações e dos testes da própria Unsloth.