Uppdateringen Unsloth v0.1.918-beta lägger till en funktion som låter en AI-modell se användarens skärm och styra musen och tangentbordet. Funktionen fungerar på macOS, Windows och Linux med kompatibla lokala synmodeller samt med anslutna tjänster. Den är avstängd som standard och måste aktiveras i Inställningar.
Innan modellen utför sin första åtgärd i en chatt ber Unsloth om tillåtelse. Den frågar också innan den växlar till en ny app och före riskfyllda steg, som att använda en terminal. Företaget uppger att blockerade appar inte kommer att klickas i eller skrivas i, oavsett behörighetsinställningar. Användare kan trycka på Stop eller flytta pekaren till ett hörn av skärmen för att återta kontrollen.
Fler appar kan kopplas till chatten
Uppdateringen lägger också till Unreal Engine, Unity, Godot, Figma och Roblox i appmenyn, tillsammans med Blender. Kopplingarna använder MCP, ett sätt för chattmodeller att interagera med annan programvara. Enligt Unsloth kan modellerna använda dem för att skapa scener och spel. Bland företagets demonstrationer finns ett Pong-spel i Godot och ett bytorget i Unreal Engine. Figma är skrivskyddat: modellen kan granska ramar, stilar och resurser, men inte redigera dem.
Användare måste välja en app, ge tillåtelse och testa anslutningen innan den aktiveras. Unsloth påpekar att verktygen kör kod i den anslutna appen och säger att endast appens ägare kan använda dem. I versionen tillkommer också nio tjänster i ett sökbart anslutningsgalleri, däribland Amazon Bedrock, Azure OpenAI, NVIDIA NIM och Perplexity.
Bildmodeller och chattfunktioner
MiniMax-H3-Image kan nu köras i GGUF-format på processorer, Mac-datorer och AMD-hårdvara, samt med FP8- eller INT8-vikter på NVIDIA-grafikkort. FP8 kräver ett NVIDIA-grafikkort med beräkningskapaciteten SM 8.9 eller senare. Användare kan också finjustera bildmodellen med LoRA, en metod för att anpassa en modell med en mindre uppsättning extra vikter.
Enligt Unsloth avkodas en bild på 2048 pixlar på 0.28 sekunder i stället för 2.82 sekunder på en A100 80GB. Det är ett resultat som företaget har rapporterat, inte en oberoende jämförelse. Bland övriga nyheter finns en modellväljare i chattrutan, möjlighet att bläddra bland projektfiler och automatiska sammanfattningar av långa chattar i många anslutningar. Uppdateringen har också stöd för att köra Inkling-2-Small som Dynamic GGUFs.
Varför det spelar roll
För den som kör lokala AI-modeller kan datorstyrning göra det möjligt att be en modell utföra uppgifter i datorns program i stället för att bara ge instruktioner. Funktionen kräver dock uttrycklig konfiguration och behörighet, och versionen visar inte hur tillförlitligt den hanterar vardagliga uppgifter utöver Unsloths egna demonstrationer och tester.