Oossa

Unsloth、Flintなど3モデルに対応

Unslothの10月23日リリースでは、3モデルのローカル実行に対応。チャット専用のデスクトップ版と、ローカルモデルをファインチューニングするAPIも追加した。

著者: Oossa公開日: 1 分で読める

Daniel Eliashevskyi · Unsplash

Unslothのバージョン0.1.910-betaでは、RecursiveのFlint、OpenMOSSのMOSS-Image、NVIDIAのNemotron Bolt 4Bに対応した。リリースによると、これらのモデルはUnslothを通じてローカルで実行できる。また、チャット機能のみを備えた軽量版のUnsloth Desktopも追加され、トレーニング機能は後から設定画面で追加できる。

Flintは400億パラメーターのエキスパート混合モデルで、タスクごとに一部のパラメーターだけを有効にする設計だ。Unslothによると、Flintのアクティブパラメーターは25億で、25万6,000トークンのコンテキストに対応する。短いコンテキストであれば、3ビット量子化で24 GBのメモリーに収まるという。リリースではSWE-bench Pro v2で89.7を記録し、Qwen 3.6の73.8を上回ったとしているが、テスト条件や評価の実施者は明らかにしていない。

画像生成とローカルでのファインチューニング

MOSS-Imageは、英語または中国語の文字を含む画像を生成できる51億パラメーターの画像モデルだ。Unslothによると、メモリー16 GBのGPUで動作するほか、GGUF版なら対応GPUのないMacやコンピューターでも実行できる。リリースには画質の比較や性能に関する数値は示されていない。

Nemotron Bolt 4Bは、ツールの使用や指示への対応を目的に、NVIDIAがGemma 4 E4Bを推論向けに調整したモデルだ。UnslothはTau2-Benchで63.2を記録し、元のモデルの38.7を上回ったと報告。また、Gemma Nemotron 4BはNVIDIAの21種類のテストのうち16種類でGemma 4 E4Bを上回ったという。これらはリリースで報告された結果であり、投稿にはテスト条件や第三者による検証結果は含まれていない。

モデルをトレーニングする人向けには、新しいファインチューニングAPIがOpenAIのSDKに対応し、データセットをアップロードしてローカルモデルの教師ありファインチューニングを実行できるという。リリースによると、Unsloth Desktopは無料のオープンソースソフトウェアで、Windows、macOS、Linux向けにダウンロードできる。

なぜ重要か

リリースによると、16 GBのGPUを持つユーザーは、Unslothを使って英語または中国語の文字入り画像を生成できる可能性がある。Flintの24 GBというメモリー要件は、3ビット量子化かつ短いコンテキストの場合に限られる。また、リリースには独立したテスト結果がなく、ベンチマークのスコアを確実に比較するための条件も十分に示されていない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。