ggml-org a publié llama.cpp b11895, qui corrige le dépassement des offsets dans les grands résultats matriciels sur Metal. La modification élargit également les offsets de lots et les indices de tokens utilisés par l’opération MUL_MAT_ID.
La page de la version propose des téléchargements pour les Mac Apple Silicon et Intel, iOS, ainsi que plusieurs versions pour Ubuntu avec prise en charge du CPU et de Vulkan.
Pourquoi c'est important
Les développeurs qui utilisent llama.cpp avec Metal pourraient éviter les dépassements d’offset dans les grands résultats matriciels. Les notes de version ne précisent toutefois ni la fréquence du problème ni les charges de travail susceptibles de le déclencher.
