Oossa

La beta di Unsloth fa usare le app desktop ai modelli IA

La versione v0.1.918-beta di Unsloth aggiunge il controllo di schermo, mouse e tastiera, connessioni con app creative e nuove opzioni per MiniMax-H3-Image.

Di Pubblicato da Oossa: 2 min di lettura

Oscar Ivan Esquivel Arteaga · Unsplash

L’aggiornamento v0.1.918-beta di Unsloth introduce una funzione che permette a un modello IA di vedere lo schermo dell’utente e controllare mouse e tastiera. È compatibile con macOS, Windows e Linux, con i modelli di visione locali supportati e con i provider connessi. La funzione è disattivata per impostazione predefinita e va attivata nelle Impostazioni.

Prima che un modello esegua la prima azione in una chat, Unsloth chiede il permesso. Lo richiede anche prima di passare a una nuova app e di compiere operazioni rischiose, come usare un terminale. L’azienda afferma che il modello non farà clic né inserirà testo nelle app bloccate, a prescindere dalle impostazioni dei permessi. Gli utenti possono premere Stop o spostare il puntatore in un angolo dello schermo per riprendere il controllo.

Più app si collegano alla chat

L’aggiornamento aggiunge anche Unreal Engine, Unity, Godot, Figma e Roblox al menu delle app, insieme a Blender. Queste connessioni usano MCP, un sistema che consente ai modelli di chat di interagire con altri software. Secondo Unsloth, un modello può usarle per creare scene e giochi; tra le demo dell’azienda ci sono un gioco di Pong in Godot e una piazza di paese in Unreal Engine. Figma è in sola lettura: il modello può esaminare i riquadri, gli stili e le risorse, ma non modificarli.

Per attivare una connessione, gli utenti devono selezionare un’app, concedere l’autorizzazione e verificare che funzioni. Unsloth precisa che questi strumenti eseguono codice nell’app collegata e afferma che solo il proprietario dell’app può usarli. La versione aggiunge inoltre nove provider a una galleria di connessioni consultabile tramite ricerca, tra cui Amazon Bedrock, Azure OpenAI, NVIDIA NIM e Perplexity.

Modelli di immagini e controlli della chat

MiniMax-H3-Image può ora essere eseguito in formato GGUF su CPU, Mac e hardware AMD, e con pesi FP8 o INT8 sulle GPU NVIDIA. FP8 richiede una GPU NVIDIA con compute capability SM 8.9 o superiore. Gli utenti possono anche ottimizzare il modello di immagini con LoRA, un metodo per adattare un modello aggiungendo un insieme più piccolo di pesi.

Secondo Unsloth, su un A100 80GB la decodifica di un’immagine da 2048 pixel richiede 0.28 secondi, contro 2.82 secondi in precedenza. È un risultato dichiarato dall’azienda, non un confronto indipendente. Altre novità includono un selettore di modelli nella casella della chat, la possibilità di sfogliare i file dei progetti e riepiloghi automatici per le chat lunghe su molte connessioni. L’aggiornamento supporta anche l’esecuzione di Inkling-2-Small come Dynamic GGUFs.

Perché conta

Per chi usa modelli IA in locale, il controllo del computer potrebbe consentire di chiedere a un modello di svolgere attività nei software desktop, anziché limitarsi a fornire istruzioni. La funzione richiede però configurazione e autorizzazioni esplicite, e questa versione non dimostra quanto sia affidabile nelle attività quotidiane al di là delle demo e dei test di Unsloth.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.