Det öppna inferensbiblioteket för LLaMA stöder nu BF16-beräkningar, vilket ger bättre prestanda på flera backendmiljöer.
NotisAv OossaPublicerad av Oossa: 1 min läsning
Teamet bakom ggml-org har släppt llama.cpp version b12202. Uppdateringen lägger till stöd för BF16-precision (brain floating point med 16 bitar) i viktiga matrisberäkningar. Ändringen följer referensimplementationen och stöds nu av CUDA, Vulkan, OpenCL, Hexagon och andra backendmiljöer. Tester för flash-attention körs nu med BF16, utöver det befintliga F32-läget.
Utvecklare kan köra LLaMA-modeller snabbare på hårdvara som är optimerad för BF16, till exempel nyare GPU:er.
Modeller
Modellen finns via företagets Tinker-tjänst. Thinking Machines säger att den klarar kodning, research och affärsuppgifter och planerar att släppa modellvikterna.
Modeller
Modellen med 65 miljarder parametrar finns tillgänglig under Apache 2.0. Ricursive rapporterar ett starkt resultat i ett kodningsriktmärke, men resultaten varierar mellan tester.
Modeller
En man i North Carolina hävdar att ChatGPT hjälpte hans fru att planera att förgifta honom. OpenAI uppger att företaget stängde av hennes konto och delade information med polisen.
Oossa · Nyhetsbrev
Veckans AI, förklarad
Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.
