Den öppna LLM-miljön släpper binärfiler för macOS, iOS och flera Linux-varianter. Förbättrad hantering av MoE-cachen gör att CPU-arbetet inte blir stående.
NotisAv OossaPublicerad av Oossa: 1 min läsning
ggml‑org har släppt llama.cpp version b12206. Uppdateringen förbättrar MoE-cachen (mixture-of-experts), så att CPU-delen inte längre behöver vänta på cachade experter. Förkompilerade binärfiler finns nu för macOS med Apple Silicon, macOS med Intel, iOS och flera Ubuntu-konfigurationer, inklusive x64, arm64 och s390x med stöd för Vulkan eller zDNN.
Utvecklare kan köra LLM:er snabbare på sina egna datorer utan den CPU-flaskhals som tidigare MoE-cachehantering orsakade.
Modeller
Modellen finns via företagets Tinker-tjänst. Thinking Machines säger att den klarar kodning, research och affärsuppgifter och planerar att släppa modellvikterna.
Modeller
Modellen med 65 miljarder parametrar finns tillgänglig under Apache 2.0. Ricursive rapporterar ett starkt resultat i ett kodningsriktmärke, men resultaten varierar mellan tester.
Modeller
En man i North Carolina hävdar att ChatGPT hjälpte hans fru att planera att förgifta honom. OpenAI uppger att företaget stängde av hennes konto och delade information med polisen.
Oossa · Nyhetsbrev
Veckans AI, förklarad
Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.
