Oossa

Beta da Unsloth permite usar apps do computador com IA

A versão v0.1.918-beta da Unsloth adiciona controle de tela, mouse e teclado, conexões com ferramentas criativas e novas opções para o MiniMax-H3-Image.

Por Publicado pelo Oossa: 2 min de leitura

Oscar Ivan Esquivel Arteaga · Unsplash

A atualização v0.1.918-beta da Unsloth adiciona um recurso de uso do computador que permite a um modelo de IA ver a tela do usuário e controlar o mouse e o teclado. O recurso funciona no macOS, Windows e Linux com modelos locais de visão compatíveis, além de provedores conectados. Ele vem desativado por padrão e precisa ser habilitado em Configurações.

Antes de o modelo realizar a primeira ação em uma conversa, a Unsloth pede autorização. Também pede permissão antes de mudar para um novo app e de executar etapas de risco, como usar um terminal. A empresa afirma que apps bloqueados não serão alvo de cliques ou comandos digitados, independentemente das configurações de permissão. Para retomar o controle, os usuários podem pressionar Parar ou mover o ponteiro para um canto da tela.

Mais apps podem se conectar ao chat

A atualização também adiciona Unreal Engine, Unity, Godot, Figma e Roblox ao menu de apps, junto com o Blender. Essas conexões usam MCP, um meio para que modelos de chat interajam com outros softwares. Segundo a Unsloth, o modelo pode usá-las para criar cenários e jogos; as demonstrações da empresa incluem um jogo de Pong no Godot e uma praça de vila no Unreal Engine. No Figma, o acesso é somente para leitura: o modelo pode inspecionar quadros, estilos e recursos, mas não editá-los.

Os usuários precisam selecionar um app, conceder permissão e testar a conexão antes de ativá-la. A Unsloth observa que essas ferramentas executam código dentro do app conectado e afirma que somente o proprietário do app pode usá-las. A versão também adiciona nove provedores a uma galeria de conexões com busca, entre eles Amazon Bedrock, Azure OpenAI, NVIDIA NIM e Perplexity.

Modelos de imagem e controles do chat

O MiniMax-H3-Image agora pode ser executado no formato GGUF em CPUs, Macs e hardware da AMD, e com pesos FP8 ou INT8 em GPUs NVIDIA. O FP8 exige uma GPU NVIDIA com capacidade de computação SM 8.9 ou superior. Os usuários também podem ajustar o modelo de imagem com LoRA, um método que adapta um modelo usando um conjunto menor de pesos adicionais.

A Unsloth afirma que uma imagem de 2048 pixels é decodificada em 0.28 segundos, em vez de 2.82 segundos, em uma A100 80GB. Esse resultado foi divulgado pela empresa e não é uma comparação independente. Outras mudanças incluem um seletor de modelos na caixa de chat, navegação pelos arquivos do projeto e resumos automáticos para conversas longas em muitas conexões. A atualização também permite executar o Inkling-2-Small como Dynamic GGUFs.

Por que importa

Para quem usa modelos locais de IA, o recurso de uso do computador pode permitir pedir ao modelo que execute tarefas em softwares de desktop, em vez de apenas dar instruções. Mas ele exige configuração e permissões explícitas, e a versão não demonstra o grau de confiabilidade em tarefas cotidianas além das demonstrações e dos testes da própria Unsloth.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.