Unslothのv0.1.918-betaでは、AIモデルがユーザーの画面を見て、マウスやキーボードを操作できる「コンピューター操作」機能が追加された。対応するローカルの画像認識モデルのほか、接続済みのプロバイダーでも利用でき、macOS、Windows、Linuxに対応する。この機能は初期設定でオフになっており、設定から有効にする必要がある。
チャット内でモデルが最初の操作を行う前に、Unslothは許可を求める。また、新しいアプリに切り替えるときや、ターミナルの使用などリスクのある操作の前にも確認する。同社によると、許可設定にかかわらず、ブロック対象のアプリ内ではクリックや入力は行われない。ユーザーは「停止」を押すか、ポインターを画面の隅に移動させれば操作を取り戻せる。
チャットから連携できるアプリが拡大
今回のアップデートでは、アプリメニューにBlenderに加えてUnreal Engine、Unity、Godot、Figma、Robloxが追加された。これらの連携には、チャットモデルがほかのソフトウェアとやり取りするための仕組み「MCP」を使う。Unslothによると、モデルはこれらの連携を使ってシーンやゲームを作成できる。同社のデモでは、GodotでのPongゲームやUnreal Engineでの村の広場が紹介されている。Figmaは読み取り専用で、モデルはフレーム、スタイル、アセットを確認できるが、編集はできない。
有効にするには、アプリを選択し、許可を与えたうえで接続をテストする必要がある。Unslothは、これらのツールが接続先アプリ内でコードを実行すると説明し、利用できるのはそのアプリの所有者に限られるとしている。また、検索可能な連携ギャラリーに9つのプロバイダーが追加され、Amazon Bedrock、Azure OpenAI、NVIDIA NIM、Perplexityなどが利用できる。
画像モデルとチャット操作の改善
MiniMax-H3-Imageは、CPU、Mac、AMDハードウェアでGGUF形式として実行できるようになった。また、NVIDIA GPUではFP8またはINT8の重みで実行できる。FP8を使うには、コンピュート能力がSM 8.9以上のNVIDIA GPUが必要だ。モデルを少量の追加重みで調整する手法、LoRAによる画像モデルのファインチューニングにも対応した。
Unslothによると、A100 80GBでは2048ピクセルの画像のデコード時間が、従来の2.82秒から0.28秒に短縮された。これは同社が公表した結果であり、独立した比較検証ではない。ほかにも、チャットボックス内のモデル選択機能、プロジェクトファイルの閲覧機能、多くの連携先で長いチャットを自動要約する機能が加わった。今回のアップデートでは、Inkling-2-SmallをDynamic GGUFsとして実行することにも対応している。
なぜ重要か
ローカルでAIモデルを動かす人は、モデルに指示を聞くだけでなく、デスクトップソフトウェア上で作業を実行させられる可能性がある。ただし、利用には明示的な設定と許可が必要だ。また、Unsloth独自のデモやテスト以外では、日常的な作業をどれほど確実にこなせるかは示されていない。