Oossa

Unsloth voegt Flint, MOSS-Image en Nemotron Bolt 4B toe

De release van Unsloth van 23 oktober voegt lokale ondersteuning voor drie modellen toe. Ook is er een desktopinstallatie die alleen chat bevat en een API om lokale modellen fijn af te stemmen.

Door Gepubliceerd door Oossa: 1 min lezen

Daniel Eliashevskyi · Unsplash

Unsloth versie 0.1.910-beta ondersteunt nu Flint van Recursive, MOSS-Image van OpenMOSS en Nemotron Bolt 4B van NVIDIA. Volgens de release kunnen gebruikers de modellen lokaal draaien via Unsloth. Ook is er een kleinere Unsloth Desktop-installatie die alleen chat bevat; gebruikers kunnen later via Instellingen trainingsfuncties toevoegen.

Flint is een mixture-of-experts-model met 40 miljard parameters. Bij dit ontwerp worden voor elke taak slechts bepaalde parameters geactiveerd. Volgens Unsloth gebruikt Flint 2,5 miljard actieve parameters, ondersteunt het een context van 256.000 tokens en past het bij 3-bit-kwantisering in 24 GB geheugen voor korte contexten. De release meldt een score van 89,7 op SWE-bench Pro v2, tegenover 73,8 voor Qwen 3.6, maar vermeldt niet onder welke testomstandigheden de evaluatie is uitgevoerd of wie die heeft uitgevoerd.

Beeldgeneratie en lokaal fijn afstemmen

MOSS-Image is een beeldmodel met 5,1 miljard parameters dat afbeeldingen met Engelse of Chinese tekst kan genereren. Volgens Unsloth werkt het op GPU’s met 16 GB geheugen; de GGUF-versies kunnen ook draaien op Macs en computers zonder ondersteunde GPU. De release bevat geen vergelijkingen van beeldkwaliteit of prestatiecijfers.

Nemotron Bolt 4B is NVIDIA’s op redeneren gerichte, aangepaste versie van Gemma 4 E4B, bedoeld voor het gebruik van tools en het opvolgen van instructies. Unsloth meldt een score van 63,2 op Tau2-Bench, tegenover 38,7 voor het oorspronkelijke model, en zegt dat Gemma Nemotron 4B op 16 van de 21 tests van NVIDIA beter scoorde dan Gemma 4 E4B. Dit zijn resultaten die in de release worden gemeld; de blogpost geeft geen testomstandigheden of onafhankelijke bevestiging.

Voor wie modellen traint, meldt Unsloth ook dat de nieuwe API voor fijn afstemmen werkt met de SDK van OpenAI. Daarmee kunnen datasets worden geüpload en lokale modellen supervised fine-tuning ondergaan. Volgens de release is Unsloth Desktop gratis en opensource, met downloads voor Windows, macOS en Linux.

Waarom het ertoe doet

Voor mensen met een GPU van 16 GB biedt MOSS-Image mogelijk een manier om via Unsloth afbeeldingen met Engelse of Chinese tekst te genereren, aldus de release. De vermelding dat Flint in 24 GB geheugen past, geldt alleen bij 3-bit-kwantisering en korte contexten. De release bevat geen onafhankelijke testresultaten en geeft te weinig testgegevens om de benchmarkscores betrouwbaar te vergelijken.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.