Oossa

Unsloth-bèta laat AI-modellen desktopapps bedienen

Unsloth v0.1.918-beta voegt bediening van scherm, muis en toetsenbord toe, koppelingen met creatieve apps en nieuwe opties voor MiniMax-H3-Image.

Door Gepubliceerd door Oossa: 2 min lezen

Oscar Ivan Esquivel Arteaga · Unsplash

De update naar Unsloth v0.1.918-beta voegt een functie voor computerbediening toe waarmee een AI-model het scherm van een gebruiker kan bekijken en de muis en het toetsenbord kan bedienen. De functie werkt op macOS, Windows en Linux met ondersteunde lokale vision-modellen en met aangesloten aanbieders. De functie staat standaard uit en moet worden ingeschakeld via Instellingen.

Voordat een model in een chat zijn eerste handeling uitvoert, vraagt Unsloth toestemming. Ook vraagt het toestemming voordat het naar een andere app overschakelt en voordat het risicovolle stappen uitvoert, zoals het gebruik van een terminal. Volgens het bedrijf wordt er niet in geblokkeerde apps geklikt of getypt, ongeacht de ingestelde machtigingen. Gebruikers kunnen op Stop drukken of de aanwijzer naar een hoek van het scherm bewegen om de controle terug te nemen.

Meer apps koppelen aan de chat

De update voegt ook Unreal Engine, Unity, Godot, Figma en Roblox toe aan het appmenu, naast Blender. De koppelingen gebruiken MCP, een manier waarop chatmodellen met andere software kunnen communiceren. Volgens Unsloth kan een model hiermee scènes en games bouwen; de demo’s laten onder meer een Pong-game in Godot en een dorpsplein in Unreal Engine zien. Figma is alleen-lezen: een model kan frames, stijlen en onderdelen bekijken, maar ze niet bewerken.

Gebruikers moeten een app selecteren, toestemming geven en de verbinding testen voordat ze die inschakelen. Unsloth merkt op dat deze tools code uitvoeren binnen de gekoppelde app en zegt dat alleen de eigenaar van de app ze kan gebruiken. De release voegt ook negen aanbieders toe aan een doorzoekbare galerij met koppelingen, waaronder Amazon Bedrock, Azure OpenAI, NVIDIA NIM en Perplexity.

Beeldmodellen en chatbediening

MiniMax-H3-Image kan nu in GGUF-formaat draaien op CPU’s, Macs en AMD-hardware, en met FP8- of INT8-gewichten op NVIDIA-GPU’s. Voor FP8 is een NVIDIA-GPU met rekenkracht SM 8.9 of nieuwer vereist. Gebruikers kunnen het beeldmodel ook finetunen met LoRA, een methode om een model aan te passen met een kleinere set toegevoegde gewichten.

Volgens Unsloth wordt een afbeelding van 2048 pixels in 0,28 seconden gedecodeerd, tegenover 2,82 seconden op een A100 80GB. Dat resultaat is door het bedrijf gerapporteerd en is geen onafhankelijke vergelijking. Andere wijzigingen zijn onder meer een modelkiezer in het chatvenster, de mogelijkheid om projectbestanden te bekijken en automatische samenvattingen van lange chats bij veel koppelingen. De update ondersteunt ook het draaien van Inkling-2-Small als Dynamic GGUFs.

Waarom het ertoe doet

Voor mensen die lokale AI-modellen draaien, kan computerbediening ervoor zorgen dat ze een model taken in desktopsoftware laten uitvoeren in plaats van alleen instructies te geven. De functie vereist wel expliciete instellingen en machtigingen, en de release laat niet zien hoe betrouwbaar het model alledaagse taken uitvoert buiten de demo’s en tests van Unsloth zelf.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.