llama.cppがH2O‑Lightning‑4Bの推論に対応

オープンソースの推論ライブラリが、意思決定用LoRAを統合したQwen3.5‑4Bモデル「H2O‑Lightning‑4B」をサポートしました。

短信著者： OossaOossa公開日: 2026年10月21日 2:37 UTC1 分で読める

ggml‑org/llama.cppプロジェクトは2026‑10‑21、バージョンb11773を公開しました。このアップデートでは、新しいモデルタイプ「H2O‑Lightning‑4B」が追加されました。これは、意思決定用LoRAを統合したQwen3.5‑4Bモデルです。モデルは先頭に半角スペースを付けた回答（「 A」）を返し、最大255個のラベルを扱えます。コンバーターは意思決定に関するメタデータを書き込むようになり、serve_config.jsonに一致する設定があるかどうかも確認します。この変更はH2O AIのスタッフとの共同執筆で、さまざまなCPU・GPU環境でテストされました。