Das Update auf Unsloth v0.1.918-beta führt eine Funktion zur Computersteuerung ein: Ein KI-Modell kann damit den Bildschirm sehen und Maus sowie Tastatur bedienen. Die Funktion läuft unter macOS, Windows und Linux mit unterstützten lokalen Vision-Modellen sowie mit verbundenen Anbietern. Standardmäßig ist sie deaktiviert und muss in den Einstellungen eingeschaltet werden.
Bevor ein Modell in einem Chat zum ersten Mal eine Aktion ausführt, bittet Unsloth um Erlaubnis. Auch beim Wechsel zu einer neuen App und vor riskanten Schritten wie der Nutzung eines Terminals fragt die Software nach. Laut Unternehmen werden blockierte Apps unabhängig von den Berechtigungseinstellungen weder angeklickt noch mit Text befüllt. Nutzer können die Steuerung mit „Stop“ oder durch Bewegen des Zeigers in eine Bildschirmecke zurücknehmen.
Weitere Apps lassen sich mit dem Chat verbinden
Mit dem Update kommen Unreal Engine, Unity, Godot, Figma und Roblox neben Blender ins App-Menü. Die Verbindungen nutzen MCP, eine Möglichkeit für Chatmodelle, mit anderer Software zu interagieren. Laut Unsloth kann ein Modell damit Szenen und Spiele erstellen. Die Demos des Unternehmens zeigen ein Pong-Spiel in Godot und einen Dorfplatz in Unreal Engine. Figma ist nur im Lesemodus verfügbar: Ein Modell kann Frames, Stile und Assets prüfen, aber nicht bearbeiten.
Nutzer müssen eine App auswählen, die Berechtigung erteilen und die Verbindung testen, bevor sie sie aktivieren. Unsloth weist darauf hin, dass diese Tools Code in der verbundenen App ausführen, und erklärt, dass nur deren Eigentümer sie nutzen können. Außerdem ergänzt die Veröffentlichung eine durchsuchbare Galerie mit Verbindungen zu neun Anbietern, darunter Amazon Bedrock, Azure OpenAI, NVIDIA NIM und Perplexity.
Bildmodelle und Chat-Steuerung
MiniMax-H3-Image kann nun im GGUF-Format auf CPUs, Macs und AMD-Hardware sowie mit FP8- oder INT8-Gewichten auf NVIDIA-GPUs ausgeführt werden. Für FP8 ist eine NVIDIA-GPU mit der Compute Capability SM 8.9 oder höher erforderlich. Nutzer können das Bildmodell außerdem mit LoRA feinabstimmen – einer Methode, ein Modell mithilfe eines kleineren Satzes zusätzlicher Gewichte anzupassen.
Laut Unsloth wird ein Bild mit 2048 Pixeln auf einer A100 80GB in 0.28 Sekunden statt in 2.82 Sekunden dekodiert. Dabei handelt es sich um ein vom Unternehmen angegebenes Ergebnis, nicht um einen unabhängigen Vergleich. Zu den weiteren Änderungen gehören eine Modellauswahl im Chatfeld, das Durchsuchen von Projektdateien und automatische Zusammenfassungen langer Chats bei vielen Verbindungen. Das Update unterstützt außerdem die Ausführung von Inkling-2-Small als Dynamic GGUFs.
Warum es wichtig ist
Wer lokale KI-Modelle nutzt, könnte ihnen mit der Computersteuerung Aufgaben in Desktop-Software übertragen, statt sich nur Anweisungen geben zu lassen. Die Funktion muss jedoch ausdrücklich eingerichtet und freigegeben werden. Außerdem belegt die Veröffentlichung nicht, wie zuverlässig sie alltägliche Aufgaben bewältigt – über die Demos und Tests von Unsloth hinaus.