ggml-org выпустила llama.cpp b11895 с исправлением переполнения смещений в выходных данных больших матриц на Metal. Изменение также расширяет смещения пакетов и индексы токенов, используемые операцией MUL_MAT_ID.
На странице выпуска доступны загрузки для Mac с Apple Silicon и процессорами Intel, iOS, а также несколько сборок для Ubuntu с поддержкой CPU и Vulkan.
Почему это важно
Разработчики, использующие llama.cpp на Metal, могут избежать переполнения смещений при работе с большими выходными матрицами, однако в описании выпуска не сказано, как часто возникала эта проблема и при каких нагрузках она проявляется.
