Biblioteket Llama.cpp med öppen källkod använder nu fyra GDN-tillståndskolumner per CUDA-warp, vilket förbättrar GPU-prestandan.
NotisAv OossaPublicerad av Oossa: 1 min läsning
Teamet ggml-org har släppt llama.cpp version b11494. Uppdateringen ändrar CUDA-bakänden så att varje warp tilldelas fyra GDN-tillståndskolumner i stället för två. Det här är nu standardinställningen. Binärfiler för macOS (Apple Silicon och Intel), iOS och flera Ubuntu-versioner finns att ladda ner.
Utvecklare som använder llama.cpp på NVIDIA-GPU:er kan räkna med snabbare inferens utan att ändra sin kod.
Modeller
Företagets nya granskare med tre Claude-baserade agenter hittade 73.43% av felen i centrala påståenden, långt fler än det tidigare bästa resultatet på 14.81%.
Modeller
Mistrals nya modell med en biljon parametrar får 38 poäng i ett oberoende index, men kostar mer per uppgift än konkurrerande öppna modeller.
Modeller
OpenAI uppger att två påverkanskampanjer använde AI-genererat innehåll för att få in falska nyheter i etablerade medier. Företaget har stängt av de berörda kontona.
Oossa · Nyhetsbrev
Veckans AI, förklarad
Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.
