Det öppna Llama-inferensbiblioteket llama.cpp har släppt version b11757 med en korrigering för hanteringen av CUDA-grafer och nya binärfiler för macOS, iOS och Linux.
NotisAv OossaPublicerad av Oossa: 1 min läsning
Teamet bakom ggml-org har släppt llama.cpp version b11757. Uppdateringen rensar CUDA-grafer efter att en äldre minnespool har tömts, vilket bör minska minnesläckor på GPU:n. Förbyggda binärfiler finns nu för Apple Silicon-macOS, Intel-macOS, iOS och flera Ubuntu-versioner (CPU, Vulkan och CUDA 12.8). Versionen finns på GitHub.
Utvecklare som kör Llama-modeller på Nvidia-GPU:er får färre fel på grund av slut på minne efter korrigeringen.
Modeller
Elevenlabs lanserar den träffsäkra Max-modellen och den billigare Mini-modellen för AI-samtal i realtid. De finns via ElevenAgents och ett Realtime API.
Modeller
AI-kompanjonen når 10,2 miljoner installationer i USA, slår ChatGPT:s tidiga siffror och har högre kortsiktig användarlojalitet.
Modeller
Amazon Bedrock låter nu utvecklare i Kanada använda de senaste modellerna OpenAI GPT‑5.6, GPT‑6 och GPT‑6.1 via inferens mellan regioner.
Oossa · Nyhetsbrev
Veckans AI, förklarad
Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.
