Oossa

Unsloth lägger till Flint, MOSS-Image och Nemotron Bolt 4B

Unsloths release den 23 oktober ger lokalt stöd för tre modeller. Den innehåller också en skrivbordsversion enbart för chatt och ett API för finjustering av lokala modeller.

Av Publicerad av Oossa: 1 min läsning

Daniel Eliashevskyi · Unsplash

Unsloths version 0.1.910-beta lägger till stöd för Recursive’s Flint, OpenMOSS’ MOSS-Image och NVIDIA:s Nemotron Bolt 4B. Enligt releasen kan användare köra modellerna lokalt via Unsloth. Den innehåller också en mindre skrivbordsinstallation av Unsloth som bara har chattfunktion; användare kan lägga till träningsfunktioner senare i Inställningar.

Flint är en mixture-of-experts-modell med 40 miljarder parametrar – en konstruktion där bara vissa parametrar aktiveras för varje uppgift. Enligt Unsloth använder Flint 2,5 miljarder aktiva parametrar, stöder ett kontextfönster på 256 000 token och kan rymmas i 24 GB minne med 3-bitars kvantisering vid korta kontexter. Releasen anger resultatet 89,7 på SWE-bench Pro v2, jämfört med 73,8 för Qwen 3.6, men redovisar inte testinställningarna eller vem som genomförde utvärderingen.

Bildgenerering och lokal finjustering

MOSS-Image är en bildmodell med 5,1 miljarder parametrar som kan generera bilder med engelsk eller kinesisk text. Enligt Unsloth fungerar den på grafikkort med 16 GB minne; GGUF-versionerna kan också köras på Mac-datorer och datorer utan ett grafikkort som stöds. Releasen innehåller inga jämförelser av bildkvalitet eller prestandasiffror.

Nemotron Bolt 4B är NVIDIA:s version av Gemma 4 E4B, finjusterad med fokus på resonemang och avsedd för verktygsanvändning och instruktionsföljning. Unsloth anger resultatet 63,2 på Tau2-Bench, jämfört med 38,7 för originalmodellen, och uppger att Gemma Nemotron 4B slog Gemma 4 E4B i 16 av NVIDIA:s 21 tester. Det här är resultat som rapporteras i releasen, och inlägget redovisar varken testinställningar eller oberoende validering.

För den som tränar modeller uppger Unsloth också att det nya finjusterings-API:t fungerar med OpenAI:s SDK för att ladda upp datamängder och köra övervakad finjustering av lokala modeller. Enligt releasen är Unsloth Desktop gratis och öppen källkod, med nedladdningar för Windows, macOS och Linux.

Varför det spelar roll

För den som har ett grafikkort med 16 GB minne kan MOSS-Image enligt releasen vara ett sätt att generera bilder med engelsk eller kinesisk text via Unsloth. Flint-uppgiften om 24 GB minne gäller bara vid 3-bitars kvantisering och korta kontexter, och releasen redovisar inte oberoende testresultat eller tillräckligt många testinställningar för att göra en tillförlitlig jämförelse av benchmarkresultaten.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.