Команда ggml-org выпустила llama.cpp версии b12202. В ней добавлена поддержка точности BF16 (16-битного формата с плавающей запятой brain float) для ключевых операций умножения матриц. Изменение соответствует эталонной реализации и уже поддерживается CUDA, Vulkan, OpenCL, Hexagon и другими бэкендами. Тесты flash-attention теперь выполняются в режиме BF16 наряду с уже доступным режимом F32.
Почему это важно
Разработчики смогут быстрее запускать модели LLaMA на оборудовании, оптимизированном для BF16, например на новых графических процессорах.
