Oossa

Unsloth ergänzt Flint, MOSS-Image und Nemotron Bolt 4B

Mit dem Release vom 23. Oktober unterstützt Unsloth drei Modelle lokal. Außerdem gibt es eine Desktop-Installation nur zum Chatten und eine API zum Fine-Tuning lokaler Modelle.

Von Von Oossa veröffentlicht: 1 Min. Lesezeit

Daniel Eliashevskyi · Unsplash

Unsloths Version 0.1.910-beta unterstützt Recursive’s Flint, OpenMOSS’ MOSS-Image und NVIDIA’s Nemotron Bolt 4B. Laut Release können Nutzer die Modelle lokal mit Unsloth ausführen. Hinzu kommt eine kleinere Unsloth-Desktop-Installation, die nur zum Chatten dient. Trainingsfunktionen lassen sich später in den Einstellungen ergänzen.

Flint ist ein Mixture-of-Experts-Modell mit insgesamt 40 Milliarden Parametern. Bei diesem Aufbau wird für jede Aufgabe nur ein Teil der Parameter aktiviert. Laut Unsloth nutzt Flint 2,5 Milliarden aktive Parameter, unterstützt einen Kontext von 256.000 Tokens und kommt bei kurzen Kontexten mit 3-Bit-Quantisierung auf 24 GB Speicher. Im Release wird ein Ergebnis von 89,7 bei SWE-bench Pro v2 genannt, gegenüber 73,8 für Qwen 3.6. Testbedingungen und die für die Auswertung verantwortliche Stelle werden nicht angegeben.

Bildgenerierung und lokales Fine-Tuning

MOSS-Image ist ein Bildmodell mit 5,1 Milliarden Parametern, das Bilder mit englischem oder chinesischem Text erzeugen kann. Laut Unsloth läuft es auf GPUs mit 16 GB Speicher; die GGUF-Versionen funktionieren auch auf Macs und Computern ohne unterstützte GPU. Das Release enthält keine Vergleiche zur Bildqualität oder Angaben zur Leistung.

Nemotron Bolt 4B ist eine auf Schlussfolgerungen ausgelegte Variante von Gemma 4 E4B von NVIDIA, die für den Einsatz von Tools und die Befolgung von Anweisungen gedacht ist. Unsloth nennt einen Wert von 63,2 bei Tau2-Bench, gegenüber 38,7 für das ursprüngliche Modell. Außerdem soll Gemma Nemotron 4B bei 16 von 21 Tests von NVIDIA besser abgeschnitten haben als Gemma 4 E4B. Diese Ergebnisse stammen aus dem Release; Testbedingungen oder eine unabhängige Überprüfung werden im Beitrag nicht angegeben.

Für das Training von Modellen gibt es laut Unsloth außerdem eine neue Fine-Tuning-API, die mit dem SDK von OpenAI zusammenarbeitet. Damit lassen sich Datensätze hochladen und überwachtes Fine-Tuning auf lokalen Modellen ausführen. Unsloth Desktop wird als kostenlos und quelloffen beschrieben; Downloads gibt es für Windows, macOS und Linux.

Warum es wichtig ist

Für Nutzer mit einer 16-GB-GPU könnte MOSS-Image laut Release eine Möglichkeit bieten, mit Unsloth Bilder mit englischem oder chinesischem Text zu erzeugen. Flints Angabe von 24 GB Speicher gilt nur bei 3-Bit-Quantisierung und kurzen Kontexten. Zudem enthält das Release keine unabhängigen Testergebnisse und nicht genügend Angaben zu den Testbedingungen, um die Benchmark-Werte zuverlässig vergleichen zu können.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.