Den nya versionen av llama.cpp har stöd för topk_mask i OpenCL-bakänden och kan laddas ner för flera plattformar.
NotisAv OossaPublicerad av Oossa: 1 min läsning
ggml-org-teamet har släppt llama.cpp b12052, en ny version av programvaran för att köra språkmodeller. Den främsta nyheten är stöd för ”topk_mask” i OpenCL, ett ramverk för att köra beräkningar på olika typer av hårdvara. På releasesidan finns också versioner för macOS, iOS och flera Linux-system.
Den som kör llama.cpp med OpenCL kan få möjlighet att använda top-k-maskning, men versionsinformationen anger inte vilka modeller eller uppgifter som har nytta av funktionen.
Modeller
Modellens 753 miljarder parametrar finns tillgängliga under MIT-licensen. Deep Principle rapporterar förbättringar på flera vetenskapliga tester, men har inte släppt hela träningsunderlaget eller den fullständiga träningsmetoden.
Modeller
Projektet mellan Google och Meta gör det möjligt för utvecklare att köra PyTorch-arbetsbelastningar på Googles chip med begränsade kodändringar, tillsammans med verktyg som vLLM och Hugging Face.
Modeller
Från december får Plus-, Pro- och Business-användare en gemensam tokenbudget för ChatGPT och Codex. Chattar med Instant-modeller räknas inte in.
Oossa · Nyhetsbrev
Veckans AI, förklarad
Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.
