O projeto llama.cpp publicou a versão pré-lançamento b12173, que adiciona suporte OpenCL a operações repeat com os tipos de dados f16, i32, i16 e bf16. O OpenCL permite executar cargas de trabalho computacionais em processadores e placas gráficas compatíveis.
A página da versão lista builds para plataformas como Linux, Windows, macOS, iOS e Android, além de várias opções de hardware e aceleradores. Ela não especifica quais dispositivos ou cargas de trabalho se beneficiam mais da mudança.
Por que importa
Desenvolvedores que usam o llama.cpp com OpenCL podem executar operações repeat com esses quatro tipos de dados, embora as notas da versão não indiquem quais dispositivos passam a ter suporte na prática.
