オープンソースライブラリのllama.cppは、2026年10月21日にバージョンb11761をリリースしました。NEONの処理分岐を修正し、fp32からfp16への変換でソフトウェアによる代替処理ではなく、ハードウェア命令を使うようになりました。また、同様のマクロの不一致を検出するため、コンパイル時エラーも追加されています。この修正は、リリースノートに記載されたmacOS搭載のApple Silicon、Linux ARM64、Android搭載のARMデバイスに適用されます。
なぜ重要か
ARMベースの端末では、ライブラリがプロセッサー標準の半精度変換機能を使うようになり、モデルの推論が高速化します。