Oossa

llama.cpp v b11761、ARM NEONのfp32→fp16変換に対応

2026年10月21日リリースの本バージョンでは、ARM NEON経路に潜んでいた不具合を修正。Apple SiliconなどのARM CPUで、ハードウェアによるfp32→fp16変換が使えるようになり、推論の高速化が期待できます。

短信著者: Oossa公開日: 1 分で読める

オープンソースライブラリのllama.cppは、2026年10月21日にバージョンb11761をリリースしました。NEONの処理分岐を修正し、fp32からfp16への変換でソフトウェアによる代替処理ではなく、ハードウェア命令を使うようになりました。また、同様のマクロの不一致を検出するため、コンパイル時エラーも追加されています。この修正は、リリースノートに記載されたmacOS搭載のApple Silicon、Linux ARM64、Android搭載のARMデバイスに適用されます。

なぜ重要か

ARMベースの端末では、ライブラリがプロセッサー標準の半精度変換機能を使うようになり、モデルの推論が高速化します。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。