Oossa

llama.cpp、テンソルの複製を抑えるメモリマップ機能を追加

オープンソースのLLM実行環境でモデルデータを直接マッピングできるようになり、macOS、iOS、Linux版でRAM使用量を削減できる。

短信OossaOossa公開日: 1 分で読める

ggml‑orgチームはllama.cppのバージョンb11324をリリースした。今回のアップデートではメモリマップモードが追加され、モデルの読み込み時に各テンソルの全サイズ分のコピーをもう1つ作らずに済む。この変更は、macOS(Apple SiliconおよびIntel)、iOS、複数のUbuntuビルド向けの新しいバイナリパッケージで利用できる。リリースでは、ClaudeとNVIDIAのエンジニア、Pranesh Gonegandlaによる貢献にも触れている。

なぜ重要か

同じハードウェアでより大規模な言語モデルを実行できるため、メモリに限りのある個人開発者や小規模チームに役立つ。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。