ggml‑orgチームはllama.cppのバージョンb11324をリリースした。今回のアップデートではメモリマップモードが追加され、モデルの読み込み時に各テンソルの全サイズ分のコピーをもう1つ作らずに済む。この変更は、macOS(Apple SiliconおよびIntel)、iOS、複数のUbuntuビルド向けの新しいバイナリパッケージで利用できる。リリースでは、ClaudeとNVIDIAのエンジニア、Pranesh Gonegandlaによる貢献にも触れている。
なぜ重要か
同じハードウェアでより大規模な言語モデルを実行できるため、メモリに限りのある個人開発者や小規模チームに役立つ。