Oossa

llama.cpp b12091、MTPの状態保存・復元に対応

プレリリース版では、チェックポイント作成時のMTPにおける隠れ状態の扱いが変更された。複数のOSやハードウェア向けのビルドも用意されている。

短信著者: Oossa公開日: 1 分で読める

llama.cppプロジェクトは2026年11月4日、プレリリース版のb12091を公開した。主な変更点は、投機的デコードで使われる手法MTPについて、チェックポイント作成時に隠れ状態を保存・復元できるようにしたことだ。リリースノートによると、保存するのは境界の隠れ状態の行のみで、対応する復元処理では検証用の行を再構築する。

このリリースでは、macOS、iOS、Linux、Android、Windows向けのビルドが公開されており、各種プロセッサーやアクセラレーターに対応する選択肢も用意されている。リリースノートには、この変更による性能への影響は記載されていない。

なぜ重要か

llama.cppでMTPを使う開発者にとって、この変更は対応する復元処理で隠れ状態をどう保持するかに関わる。ただし、速度や信頼性が向上するかどうかはリリースノートに記載されていない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。